(1)通過百度蜘蛛下載回來的網頁放到補充數據區,通過各種程序計算過后才放到檢索區,才會形成穩定的排名,所以說只要下載回來的東西都可以通過指令找到,補充數據是不穩定的,有可能在各種計算的過程中給k掉,檢索區的數據排名是相對比較穩定的,百度目前是緩存機制和補充數據相結合的,正在向補充數據轉變,這也是目前百度收錄困難的原因,也是很多站點今天給k了明天又放出來的原因。
(2)深度優先和廣度優先,百度蜘蛛抓頁面的時候從起始站點(即種子站點指的是一些門戶站點)是廣度優先抓取是為了抓取更多的網址,深度優先抓去的目的是為了抓去高質量的網頁,這個策略是由調度來計算和分配的,百度蜘蛛只負責抓取,權重優先是指反向連接較多的頁面的優先抓取,這也是調度的一種策略,一般情況下網頁抓取抓到40%是正常范圍,60%算很好,100%是不可能的,當然抓去的越多越好
本文由深圳建網站公司www.61916.com整理