帝國網絡服務有限公司專注中小企業全網營銷、SEO推廣需求,解決品牌曝光產品推廣難題,
終會贏得SEM&SEO外包企業選擇與信任。
當前位置:首頁 > 谷歌優化 > 谷歌優化>SEO:Google網站管理員工具的抓取錯誤解決方法

中彩票大奖:SEO:Google網站管理員工具的抓取錯誤解決方法

來源:SEO官網發表時間:2013-07-04瀏覽:10
下一篇:Google Analytics的使用及其市場份額分析

会中1000万彩票大奖的生肖 www.fzlpx.icu   “抓取錯誤”是 Google網站管理員工具(Webmaster Tools)中最受歡迎的工具之一。它可以幫助你檢查錯誤的鏈接,不僅僅是URL鏈接,還包行DNS解析失敗、服務器鏈接、robots.txt 文件等問題,幾乎所有網站都會出現抓取錯誤。

  網站站長工具將錯誤分為兩類:網站錯誤(site errors)和鏈接地址錯誤(URL errors)。如果在一個網站上出現多個抓取錯誤,那么你的網站信任度會下降,甚至會影響到排名,當然這工具對于百度優化同樣有效。那么應當如何解決Google網站管理員工具的抓取錯誤呢。

如何解決Google網站管理員工具的抓取錯誤

  通過Googlebot抓取的錯誤分類就看知道是什么導致抓取錯誤的原因了。

  一、HTTP的錯誤

  當一個網站上的網頁(例如,當用戶在瀏覽器中訪問您的網頁或Googlebot抓取頁面時)到您的服務器發出請求,服務器返回HTTP狀態碼響應請求。

  如果出現403狀態,可以不用理睬,這表明是你的主機阻止了Googlebot抓取。對于所有HTTP狀態碼的列表文件,可以參考Google HTTP狀態碼幫助頁面。

  二、Sitemap中的錯誤

  Sitemap錯誤往往會造成404錯誤頁面,或在當前地圖返回一個404錯誤頁面,如果出現404錯誤頁面請檢查Sitemap中所有的鏈接,

  Google會不斷抓取你已經刪除的Sitemap,這點很郁悶,但也有辦法解決:確保舊的Sitemap已經在管理員工具中被刪除。如果不想被抓取,確保舊Sitemap出現404或者重新定向到新的Sitemap。

  來自Google員工Susan Moskwa解釋道:

  阻止Googlebot的爬行,最好的辦法是使這些網址(例如舊的sitemaps)出現404,當我們看到一個URL多次出現404后,Googlebot會停止爬行。

  三、重定向錯誤

  有些錯誤是因為301從定向引起的,執行重定向后要注意什么:

  1:確保他們返回到正確的HTTP狀態碼。

  2:確保沒有任何循環重定向。

  3:確保重定向指向有效的網頁,而不是404頁,或其他錯誤頁,如503(服務器錯誤)或403(禁止抓取)

  4:確保重定向不是指向一個空頁面。

  四、404錯誤

  404錯誤可能會出現在以下幾個方面:

  1:刪除了網站上的網頁;

  2:改變了網頁的名稱;

  4:鏈接到了一個不存在的頁面;

  5:其他網站鏈接到你網站上一個不存在的頁面;

  6:網站遷移到一個新的域名不完全匹配的網站。

  五、受robots.txt限制

  還有一個原因是robots.txt文件阻止了Googlebot的抓取,如果出現大量抓取錯誤,第一步應該檢查robots.txt

  六、軟404錯誤

  通常情況下,當有人請求的頁面不存在,服務器將返回一個404(未找到)錯誤。除了在響應請求的頁面不存在返回404代碼,服務器也將顯示一個404頁。 這可能是一個標準的“未找到文件”的消息,或旨在提供更多信息的用戶,它可能是一個自定義頁面。 頁的內容是由服務器返回的HTTP響應完全無關。僅僅因為一個頁面顯示404文件未找到消息并不意味著它是一個404頁。

如何解決Google網站管理員工具的抓取錯誤

  七、超時

  網站超時也是出現抓取錯誤的原因之一,如果出現超時現象,Googlebot會停止抓取。超時的錯誤類型有:

  1:DNS超時,可以使用Nslookup 命令檢測DNS,出現DNS超時最大的因素是域名服務商的DNS服務器不穩定。

  2:網址超時,在某一個特定頁面,而不是整個域的錯誤。

  3:robots.txt超時,如果你網站有robots.txt,但服務器超時,Googlebot會假定該文件不存在。

  4:動態網頁的響應時間過長而造成網頁載入時間過長。
 

如何解決Google網站管理員工具的抓取錯誤