1)最常見的404代表“NOT FOUND”,認(rèn)為網(wǎng)頁已經(jīng)失效,通常將在庫(kù)中刪除,同時(shí)短期內(nèi)如果spider再次發(fā)現(xiàn)這條url也不會(huì)抓??;
2)503代表“Service Unavailable”,認(rèn)為網(wǎng)頁臨時(shí)不可訪問,通常網(wǎng)站臨時(shí)關(guān)閉,帶寬有限等會(huì)產(chǎn)生這種情況。對(duì)于網(wǎng)頁返回503狀態(tài)碼,百度spider不會(huì)把這條url直接刪除,同時(shí)短期內(nèi)將會(huì)反復(fù)訪問幾次,如果網(wǎng)頁已恢復(fù),則正常抓取;如果繼續(xù)返回503,那么這條url仍會(huì)被認(rèn)為是失效鏈接,從庫(kù)中刪除。
3)403代表“Forbidden”,認(rèn)為網(wǎng)頁目前禁止訪問。如果是新url,spider暫時(shí)不抓取,短期內(nèi)同樣會(huì)反復(fù)訪問幾次;如果是已收錄url,不會(huì)直接刪除,短期內(nèi)同樣反復(fù)訪問幾次。如果網(wǎng)頁正常訪問,則正常抓??;如果仍然禁止訪問,那么這條url也會(huì)被認(rèn)為是失效鏈接,從庫(kù)中刪除。
4)301代表是“Moved Permanently”,認(rèn)為網(wǎng)頁重定向至新url。當(dāng)遇到站點(diǎn)遷移、域名更換、站點(diǎn)改版的情況時(shí),我們推薦使用301返回碼,同時(shí)使用站長(zhǎng)平臺(tái)網(wǎng)站改版工具,以減少改版對(duì)網(wǎng)站流量造成的損失。