1）最常見的404代表“NOT FOUND”，認(rèn)為網(wǎng)頁已經(jīng)失效，通常將在庫(kù)中刪除，同時(shí)短期內(nèi)如果spider再次發(fā)現(xiàn)這條url也不會(huì)抓??；
2）503代表“Service Unavailable”，認(rèn)為網(wǎng)頁臨時(shí)不可訪問，通常網(wǎng)站臨時(shí)關(guān)閉，帶寬有限等會(huì)產(chǎn)生這種情況。對(duì)于網(wǎng)頁返回503狀態(tài)碼，百度spider不會(huì)把這條url直接刪除，同時(shí)短期內(nèi)將會(huì)反復(fù)訪問幾次，如果網(wǎng)頁已恢復(fù)，則正常抓取；如果繼續(xù)返回503，那么這條url仍會(huì)被認(rèn)為是失效鏈接，從庫(kù)中刪除。
3）403代表“Forbidden”，認(rèn)為網(wǎng)頁目前禁止訪問。如果是新url，spider暫時(shí)不抓取，短期內(nèi)同樣會(huì)反復(fù)訪問幾次；如果是已收錄url，不會(huì)直接刪除，短期內(nèi)同樣反復(fù)訪問幾次。如果網(wǎng)頁正常訪問，則正常抓??；如果仍然禁止訪問，那么這條url也會(huì)被認(rèn)為是失效鏈接，從庫(kù)中刪除。
4）301代表是“Moved Permanently”，認(rèn)為網(wǎng)頁重定向至新url。當(dāng)遇到站點(diǎn)遷移、域名更換、站點(diǎn)改版的情況時(shí)，我們推薦使用301返回碼，同時(shí)使用站長(zhǎng)平臺(tái)網(wǎng)站改版工具，以減少改版對(duì)網(wǎng)站流量造成的損失。
