1.其次，如果我们能够通过对以往收集信息的分析，预先发现重复网页，在今后的网页收集过程中就可以避开这些网页，从而提高网页的收集速度。有研究表明重复网页随着时间不发生太大变化，所以这种从重复页面集合中选择部分页面进行索引是有效的。2.从另外一个角度看，如果用户点击了一个死链接，那么可以将用户引导到一个内容相同页面，这样可以有效地增加用户的检索体验。因而近似重复网页的及时发现有利于改善搜索引擎系统的服务质量。

　　3.另外，如果某个网页的镜像度较高，往往是其内容比较受欢迎的一种间接体现也就预示着该网页相对重要，在收集网页时应赋予它较高的优先级，而当搜索引擎系统在响应用户的检索请求并对输出结果排序时，应该赋予它较高的权值。

　　4.首先，如果我们能够找出这些重复网页并从数据库中去掉，就能够节省一部分存储空间，进而可以利用这部分空间存放更多的有效网页内容，同时也提高了搜索引擎的搜索质量和用户体验。

　　实际工作的搜索引擎往往是在爬虫阶段进行近似重复检测的，下图给出了近似重复检测任务在搜索引擎中所处流程的说明。当爬虫新抓取到网页时，需要和已经建立到索引内的网页进行重复判断，如果判断是近似重复网页，则直接将其抛弃，如果发现是全新的内容，则将其加入网页索引中。

　　推荐阅读

　　企业内刊能给企业营销带来什么作用

>>>详细阅读

本文标题：网站优化删除重复网页有利搜索引擎爬行

地址：http://www.lgo100.com/a/34/20131021/291446.html

 1/2    1  2 下一页