经由过程在robots.txt文件中禁止复制内容被搜索引擎抓取，也能有用的解决网址一再问题。

　　一再内容的风险

　　凡是来说，在网站的培植过程中，一再内容的发生很难避免，可是一再内容在很年夜水平上会影响网站在搜索引擎中的默示。今天和巨匠切磋的内容就是一再内容发生的原因以及解决体例。

　　发生一再内容的首要原因

　　网址规范化问题搜罗主域名的规范化和页面URL地址规范化两个方面，主域名的规范化需要规范化。此外是内页URL的规范化，凡是为了让搜索引擎能够更好的抓取网站内容，我们会将URL进行伪静态措置，而一般的网站伪静态之后，原始的动态URL依然存在并能够访谒，这样就造成了多个URL访谒不异网址。

　　3，网站结构

　　良多网站在结构设计之初并没考虑seo方面的身分，结不美观是导致造成各类页面版本，好比产物按价钱，评论，时刻排序等，出格是一些电子商务网站，这种页面一再现象尤为严重。

　　4，URL肆意加字符仍是返回200状况码。

　　3，canonical标签

　　canonical标签是由谷歌，雅虎在2009年配合发布的一个新的标签，今朝百度也暗示撑持canonical标签，这个标签也可以用于解决网址一再的问题。

　　一些网站是因为网站轨范和手艺的原因，用户在URL参数后面随意加上一些字符都能够正常访谒，而且页面是和没加之前的完全一再。

　　搜检页面是否有一再版本有一个斗劲简单的体例，就是将内容随机选择一句话加双引号后进行搜索，年夜结不美观中就可以看到有若干好多个一再的页面。因为凡是来说随机选一句话进行搜索完全生命的机率是斗劲小的。

　　良多网站除了供给正常的版本之外还供给一些其它的浏览版本，好比打印版本或者简版，却并没有禁止搜索引擎去抓取这些页面，而这些页面也是以酿成了一再内容页面。

　　良多做seo的存在一个误区，那就是认为如不美观网站上有一再内容就会被搜索引擎赏罚，其实倒没有这么严重，搜索引擎会在所有的一再页面中选择一个认为最佳的版本去介入排名，其它相似的内容不会同时拥有排名。

　　那么问题也就来了，第一，搜索引擎若何去判定哪个页面是最正版的，是否和网站打点员想举荐的页面一致，如不美观搜索引擎判定失踪误，把原创的页面当成磷拼制内容，复制页面当成了原创页面，而你在进行推广的过程中却是原版，那就是做了无用功。此外统一个网站内的页面存在多个复制内容会分手页面权重，既然页面在网站上呈现了，就必然会有链接链向这个页面，而如不美观链接是统一的，那以全数的权重都可以进行集中，同时不异页面的收录在必然水平上也占用了搜索引擎蜘蛛的抓取精神，削减了原本真正需要进行抓取页面的收录机率。

　　消弭复制内容的体例

　　1，301重定向

　　网址规范化问题最好的体例是一个页面只对应一个URL，不要呈现多个分歧的版本，网站所有链接都指向这个URL。当然有些时辰因为水平原本或者其它原因，无法完全统一为一个URL，那么我们可以采用以下三种体例进行集中权重。

　　301能够传递页面的权重，今朝来说主流搜索引擎都撑持301重定向，可以将复制内容的页面全数经由过程301永远重定向的体例跳转到原版页面。

　　2，robots文件禁止

　　1，网址规范化问题。

　　2，内容的其他版本

　　添加了以上标签后，也就相当于告诉搜索引擎哪个网址是最规范原创的版本，其它复制内容都是指向章矣闽独一的网址，有一点页面301传递权重的意思，可是301是页面直接跳转了，而加这个标签后，页面仍是勾留在原始地址。首发a5，文章来历御泥坊的面膜怎么样http://www.afu-tmall.com/，尊再版权!