一、HTTP的错误

　　“抓取错误”是 Google网站打点员工具(Webmaster Tools)中最受接待的工具之一。它可以辅佐你搜检错误的链接，不仅仅是URL链接，还劣行DNS解析失踪败、处事器链接、robots.txt 文件等问题，几乎所有网站城市呈现状取错误。

　　网 站站长工具将错误分为两类：网站错误(site errors)和链接地址错误(URL errors)。如不美观在一个网站上呈现多个抓取错误，那么你的网站信赖度会下降，甚至会影响到排名，当然这工具对于百度优化同样有用。那么理当若何解决 Google网站打点员工具的抓取错误呢。

　　经由过程Googlebot抓取的错误分类就看知道是什么导致抓取错误的原因了。

　　当一个网站上的网页(例如，当用户在浏览器中访谒您的网页或Googlebot抓取页面时)到您的处事器发出请求，处事器返回HTTP状况码响应请求。

　　如不美观呈现403状况，可以不用理睬，这剖明是你的主机阻止了Googlebot抓取。对于所有HTTP状况码的列表文件，可以参考Google HTTP状况码辅佐页面。

　　2：改变了网页的名称;

　　二、Sitemap中的错误

　　Sitemap错误往往会造成404错误页面，或在当前地图返回一个404错误页面，如不美观呈现404错误页面请搜检Sitemap中所有的链接，

　　Google会不竭抓取你已山河除的Sitemap，这点很郁闷，但也有法子解决：确保旧的Sitemap已经在打点员工具中被删除。如不美观不想被抓取，确保旧Sitemap呈现404或者年夜头定向到新的Sitemap。

　　来自Google员工Susan Moskwa诠释道：

　　阻止Googlebot的爬行，最好的法子是使这些网址(例如旧的sitemaps)呈现404，当我们看到一个URL多次呈现404后，Googlebot会遏制爬行。

　　三、重定向错误

　　1：DNS超时，可以使用Nslookup 呼吁检测DNS，呈现DNS超时最年夜的身分是域名处事商的DNS处事器不不变。

　　有些错误是因为301年夜定向引起的，执行重定向后要注重什么：

　　1：确保他们返回到正确的HTTP状况码。

　　2：确保没有任何轮回重定向。

　　3：确保重定向指向有用的网页，而不是404页，或其他错误页，如503(处事器错误)或403(禁止抓取)

　　4：确保重定向不是指向一个空页面。

　　四、404错误

　　404错误可能会呈此刻以下几个方面：

　　1：删除了网站上的网页;

　　4：链接到了一个不存在的页面;

　　5：其他网站链接到你网站上一个不存在的页面;

　　6：网站迁移到一个新的域名不完全匹配的网站。

　　五、受robots.txt限制

　　还有一个原因是robots.txt文件阻止了Googlebot的抓取，如不美观呈现年夜量抓取错误，第一步应该搜检robots.txt

　　六、软404错误

　　通 常情形下，当有人请求的页面不存在，处事器将返回一个404(未找到)错误。除了在响应请求的页面不存在返回404代码，处事器也将显示一个404页。 这可能是一个尺度的“未找到文件”的动静，或旨在供给更多信息的用户，它可能是一个自界说页面。 页的内容是由处事器返回的HTTP响应完全无关。仅仅因为一个页面显示404文件未找到动静并不意味着它是一个404页。

　　七、超时

　　2：网址超时，在某一个特定页面，而不是整个域的错误。

　　3：robots.txt超时，如不美观你网站有robots.txt，但处事器超时，Googlebot会假定该文件不存在。

　　网站超时也是呈现状取错误的原因之一，如不美观呈现超时现象，Googlebot会遏制抓取。超时的错误类型有：

　　4：动态网页的响应时刻过长而造成网页载入时刻过长。

　　文章来历：卢松松博客 本文地址：http://lusongsong.com/reed/479.html