我看到几个常见的错误弹出。一个错误的设法，索引页，你应该阻止抓取路径。有意义的，对不合错误?如不美观你不想要的页面索引，为什么你会但愿它爬?不幸的是，虽然这听起来合乎逻辑的，也是完全错误的。让我们来看看一个例子...

　　例如：产物评论

　　假设我们有一个体面的年夜型电子商务网站，与怪异的产物1000页。这些网页看起来像这样：

　　每个产物都有自己的URL页面，当然，这些网址如下结构：

　　http://www.***.com/product/1

　　http://www.***.com/product/2

　　http://www.***.com/product/3

　　http://www.***.com/product/1000

　　此刻让我们说，每个这些产物的网页链接到该产物的评论页：

　　这些审查的网页也有自己的，怪异的网址(并列产物ID)，像这样：

　　http://www.***.com/review/1

　　http://www.***.com/review/2

　　http://www.***.com/review/3

　　http://www.***.com/review/1000

　　不幸的是，我们刚刚剥离出1000个一再的网页，每次评审的页面是真的只是一种形式，有没有怪异的内容。这些审查的网页有没有搜索价值，只是稀释我们的索引。是以，我们抉择是时辰采纳步履......

　　“修复”，第1部门

　　我们但愿这些网页了，所以我们抉择使用noindex元(元机械人)标签。因为我们真的，真的要完全页面，我们也抉择nofollow的审查链接。我们初度考试考试修复竣事，看起来像这样：

　　概况上，它是有事理的。这佬?罾υ?题，虽然 - 那些红色箭头正在削减路径，可能阻止蜘蛛。如不美观蜘蛛审查页面永远不会回去，他们永远也读了NOINDEX，他们不会去索引的网页。最好的情形下，它会需要很长时刻(已去指数化的时刻太长，对年夜型网站)。

　　修复，第2部门

　　相反，让我们分开路径(我们应遵循的链接)。这种体例，将继续爬虫访谒的页面，一再审查的URL应该逐渐消逝踪：

　　坚持下去，在这个过程中仍然需要一段时刻(周，在年夜年夜都情形下)。看管您的索引(在“site：”操作符)每日 - 你要找的跟着时刻的推移逐渐削减。如不美观这发生，你是在精采的状况。PRO提醒：不要采纳任何一天的“网站：”算太严重 - 它可所以不成靠的，不时。跟着时刻的推移的趋向看。以上内容由 www.guhele.com 饮食摄生网在admin5首发，转载请保留网址，感谢!