seo在中国的历吏中已经走过了7个岁首，让不少站长伴侣们热情研究而且受益非浅，有良多伴侣都知道可以经由过程Robots.txt文件来屏失踪不主要的搜索引擎爬虫，那媚暌剐若干好多seoER们知道若何让robotx.txt文件阐扬出它最年夜的效不美观，让网站和搜索引擎之间的关系加倍亲密呢。这里，礼拜八(www.jiezhibei.com)来具体和巨匠聊一聊robots.txt文件的各个方面。

　　一、Robots.txt文件的由来

　　robots是一个网站和搜索引擎的第三方和谈，早期是用于隐私的呵护的，后来成长成为指导搜索引擎蜘蛛爬取网站内容的向导。

　　二、Robots.txt文件的浸染

　　站长伴侣们都知道，我们的网站在经营过程中，会有良多不成抗拒性的身分，年夜而导致我们的网页质量整体下降。这时辰我们就需要借助robots.txt文件来告诉搜索引擎该爬取我们网站的哪些处所，哪些处所不需要爬取。

　　三：Robots.txt文件该用在什么处所

　　1、屏障一些无内容页面。(例如： 注册页、登录页、购物页、发帖页、留言页、搜索的首页)

　　2、屏障一再页面;(有的网站即收录了动态页面又收录了静态页面，这时我们就可以屏障失踪其中的一种)

　　3、屏障一些死链接页面。(即我们常说的404页面。但404页面又有两种，我们只需要屏障失踪那些具有通俗特征的页面，可是可以进行措置的死链接页面则不需要进行屏障。)

　　4、Robots.txt文件还可以屏障一些较长的路径页面(长路径：跨越网址输入框的)

　　四、Robots.txt该若何使用

　　1、Robots.txt的成立——robots是一个记事本文件，操作体例很是之简单：新建 文本文档.txt，然后把这个文件名 改成 robots.txt即可。

　　2、robots.txt文件应该放在网站根目录下，经由过程FTP工具上传即可。

　　3、robots.txt文件的常见呼吁

　　Disallow: / 禁止收录

　　User-agent: 界说搜索引擎爬取轨范(百度是：Baiduspider;谷歌是：Googlebot)

　　Allow: / 许可收录，不禁止(凡是情形下此呼吁不会零丁使用，它会和禁止呼吁一路使用，其目的便于目录的屏障能更好地矫捷应用)

　　4、robots.txt文件的常见语法

　　User-agent: *

　　Disallow: /abc/

　　Allow: /abc/ccc.php

　　这组语法的意思是：许可任何搜索引擎来我的网站爬取数据，可是禁止爬取根目录下abc文件夹里的内容，只许可爬取abc文件夹下ccc.php文件即可。

　　User-agent: Baiduspider

　　Disallow: *

　　Disallow: /data/

　　Disallow: /abc/

　　Allow: /abc/ccc.php

　　Allow: /abc/ff.php

　　这组语法的意思就是告诉搜索引擎，本网站禁止所有的搜索引擎前来爬取数据，只许可百度蜘蛛Baiduspider来网站爬取，而且告诉百度蜘蛛，根目录下的“data”和“abc”两个文件夹不需要爬取，可是“abc”文件夹中的ccc.php和ff.php许可爬取。

　　五：注重事项

　　所有呼吁冒号后面都有一个英文的空格，否则就是错误呼吁。

　　巨匠知道，做为一个专业的seo人员，优化过程中需要经常进行不雅察看和剖析，年夜而更好地进行调整，Robots.txt文件也是一样，当有需要使用到Robots.txt文件的时辰，必然要实时进行调整，实时告诉搜索引擎最新的轨则，年夜而措置好和搜索引擎之间的关系。

　　本文由 礼拜八 http://www.jiezhibei.com 原创发布，转载请备注，感谢合作!!