证据表明百度蜘蛛可以爬行纯文本网址

作者:Lgo100 来源:未知 2012-07-12 17:35:30 阅读 我要评论 直达商品

  很久之前我写过文本格式的网址对网站的权重有好处,今天我终于发现了纯文本网址可以吸引百度蜘蛛的证据。

  大家知道百度站长平台已经对站长开放了,其中有很多有用的功能,包括提交网站地图、提交死链接、查看robots等等。其中有一项功能大家可能没有太注意,那就是站点抓取异常查询。

  有时候我们的网站收录或者其他方面出现异常了,这时候还得分析网站日志等,查找原因。而这个工具可以直接查到,百度在抓取你的网站的时候出现了哪些错误,方便找到原因。

  我今天检查的时候发现了有一个404抓取错误,本来抓取的是http://***.com/1227.html 但是后面多了个“>”,理论上不会出现这种链接错误啊。

  

 

  经过搜索发现,有网站在转载文章的时候,出现了如上图的网址,而且是纯文本的网址:

  

 

  百度因为抓取到了上面的网址,并把>也当做网址的一部分,并进行抓取,自然就出现了404错误。

  从这个例子就可以知道,百度是可以抓取纯文本的网址的,这对广大SEO工作者和互联网从业人员是个好消息。

  本文来自逍遥博客,本文地址:http://liboseo.com/1230.html,转载请注明出处和链接!


  推荐阅读

  优化商城网站总结出来的三个感悟

在醉品商城呆了一年多的时间,学到了非常多的东西,不仅在seo上提上了自己的技术,而且还让自己懂得了喝茶(喝茶有利于身体健康,特别是对于我们这些长期呆在电脑面前的朋友们,更应该重视自己的身体)。以前接触的都是>>>详细阅读


本文标题:证据表明百度蜘蛛可以爬行纯文本网址

地址:http://www.lgo100.com/a/34/20120712/75301.html

顶一下

乐购科技部分新闻及文章转载自互联网,供读者交流和学习,若有涉及作者版权等问题请及时与我们联系,以便更正、删除或按规定办理。感谢所有提供资讯的网站,欢迎各类媒体与乐购科技进行文章共享合作。

网友点评
我的评论: 人参与评论
验证码: 匿名回答
网友评论(点击查看更多条评论)
友情提示: 登录后发表评论,可以直接从评论中的用户名进入您的个人空间,让更多网友认识您。
自媒体专栏

评论

热度