那时，我就记得他说了一句话，就是为什么会去屏障百度蜘蛛?因为网站刚做;而且他本人也进修了seo，所以也听过seo的教员讲过一些这方面的内容，年夜白自已做一个新站可以且则屏障网站蜘蛛;等网站做好了再提交给搜索引擎，而且把robots文件修下，许可百度抓取;可能是他健忘了，把这关头一步给健忘了。导致他辛劳做的网站和外链;被百度删除了收录的页面，那段时刻很疾苦;他整小我情感也是十分降低的。

　　说了这么多，我小我建议就是但愿泛博的站长伴侣能够去正视这个问题!因为很主要;若有不懂怎么建造?可以去我博客留言，我会回覆解答!但愿你能够做好robots。

　　今天来说一个巨匠十分熟悉的工具robot文件，相信巨匠对这个不目生吧!可是我发现良多站长伴侣们健忘了这个文件的主要性，而且在设置的时辰很随意。这种理解是失踪误的.我自已在一边听课一边自学，今天碰着了这个问题;随后,我就咨询了一位seo的教员，我问他：教员这个robots主要吗?那时，教员语重心长的对我说了一句;robots既可以成就你的网站;也可以毁失踪你的网站。所以嘛，仍是很主要的。

　　言归正传吧!来和巨匠聊聊robots在我们网站的一些情形;在seo研究中心有一位和我是斗劲好的伴侣，有一次，他的网站有收录上千，俄然一个下战书收录为0了。那时他慌了，因为网站收录没有了;流量也没有了，辛辛劳苦的忙了一个多月。到头往来来往发现;竹篮子明日水一场空。那时贰心灰意冷;就跑到群里聊天，处处去问;我网站被k了，求解决体例啊!心急如焚，然后，有良多人帮他忙;搜检原因，经由一段很长的时刻搜检，巨匠发现了原因是他的网站robots屏障了百度蜘蛛抓取网站页面。

　　接待插手seo交流群：208564536一路分享和交流seo。

　　今天，我经由过程这个伴侣的履历也是但愿巨匠能够去正视robots这个问题?很主要，请不要轻忽了;顺带自已谈谈我做的robots的一些经验，我记得网站在新建的时辰。我自已也是没有注重robots文件这个工具，感受无所谓啊!然后昨天听教员讲到了这个问题;我自已起头正视了，然后我起头把一些很垃圾的页面和图片全数给屏障了，页面主若是一些动态页面，巨匠都知道;百度喜欢静态的;如不美观你网站是动态;会造成搜索引擎多次抓取，给搜索引擎印象又不友好。华侈蜘蛛时刻和资本。你说他能对你又好吗?还有图片也是一些网上采集的图片;因为百度把一些原创图片给抓取了，如不美观你网站再用;这会导致百度认为你网站是剽窃的和伪原创的。这会导致百度不收录你的网站。

　　为什么会呈现这种情形呢?原因在于它在做网站的时辰robots是完全屏障了百度蜘蛛抓取。巨匠知道一个事实吧!就是当你写好了轨则;屏障了百度蜘蛛的时辰，可以发现百度仍是会抓取的。事理很简单，百度不成能做到人一样智能化。所以你屏障蜘蛛他仍是会来抓取的。可是你也别慌啊!等过段时刻百度就会把已经抓到的页面、可是你robots文件中有屏障的页面;他会年夜索引库删除，百度也会有一个发现的过程;到更正和纠错的过程。

　　文章作者：seo每一说，来历：http://www.xuecnc.com/seo/post/0506.html

　　版权声明：转载请注明文章来历：感谢合作。