对于真假百度蜘蛛，相信seo及站长们已经有明晰的手段去分辩了。百度也在官方书记了若何去判别伪装成百度蜘蛛的抓取，详情请参考这篇文章：http://www.baidu.com/search/spider.htm

　　假蜘蛛对我们网站的风险是巨年夜的，具体有：

　　占用网站带宽，导致网站流量上升，增添额外开销，在有限带宽的前提下，阻碍了正常蜘蛛的抓取，误导了我们在对网站开展seo工作时的思绪，部门伪装成假蜘蛛的采集工具剽窃了我们的工作，我们看到，网上有良多人在分享若何“抓住”假蜘蛛的文章，但这些文章只是陈旧看法的描述了“抓住”假蜘蛛的过程及操作体例。却没有分享年夜若何真正的判别蜘蛛的真伪。

　　一、发现“假蜘蛛”

　　seo优化要依靠年夜量的剖析和数据来实现，此每日志剖析是重中之重，在日志中我们可以看到良多日常平常统计工具无法看到的数据和事实。

　　每周三我都要对该电子商务网站进行周日志的剖析，以便来统计上一周的优化效不美观，在本周进行对网站日志进行剖析查看时，我发现了几个不属于熟悉中的“蜘蛛IP”，如图：

　　我们知道，百度蜘蛛一般来自于202.181.108.* 和123.125.71.* 这两个IP段(顺便科普一下，这两个IP段的百度蜘蛛没有所谓高权重和降权之分)。显然这三个IP在“常识”中，不属于百度蜘蛛所属的IP段。为了确保不误杀百度蜘蛛，笔者用nslookup ip呼吁反解了此IP，获得以下信息：

　　这个时辰，根基已经可以确定该IP不属于百度蜘蛛的IP段，是一个“假蜘蛛”，我们需要屏障该IP释放那些被占用的带宽。

　　作者本人比来在对一个电商网站进行seo优化时，就碰着了这样一个案例，几乎导致将真蜘蛛错当假蜘蛛来措置。

　　二，误会“假蜘蛛”

　　就在要对以上提到的三个IP进行屏障的时辰，笔者俄然想到，这个电商网站在上周通知我他们要使用平安宝处事，需要将DNS解析到平安宝的处事器上，而平安宝则会按照用户的访谒情形，选择距离比来的一个节点进行CDN加速。

　　在我之前的例行seo搜检中，发现网站IP被解析到了陕西的一个IP上，而这个网站IP和此次我年夜网站日志中发现的三个“假蜘蛛”IP属于统一IP段。为了验证这个猜测，我又年夜头细心查看了网站日志，发现谷歌蜘蛛和搜狗蜘蛛也来自于之前三个IP(之前对网站日志进行了拆分，只查看百度的情形，因为网站是针对百度做seo的)。

　　这下子总算清嚣张了，这些所属IP的蜘蛛不是假蜘蛛，而是货真价实的百度蜘蛛、谷歌蜘蛛和其他搜索引擎的蜘蛛。只不外因为他们经由过程了一次CDN节点，所以造成了他们的来历IP是一致的。

　　三，虚拟主机若何发生“假蜘蛛”

　　由此笔者俄然想到，之前在阅读相关文章的时辰，经常会看到有站长埋怨发现假蜘蛛，来自XX机房(就那么一两家机房)。

　　这是一件很奇异的工作，莫风度集工具和假蜘蛛都产自这个机房?事实自然不是那样的，而是：

　　很年夜一部门发现假蜘蛛的站长，所使用的是某主机供给商供给的集群主机，或近似性质的虚拟主机集群性质的虚拟主机，同CDN的事理是不异的，即将客户的空间和站点资料同步到统一个群组的所有处事器上蜘蛛的来历分歧，一些是直接访谒站点的，另一些是经由过程一些外链访谒站点的。而这些经由过程外链访谒站点的蜘蛛，会就近经由过程CDN节点访谒CDN节点每家公司都纷歧样，但年夜致分为地域年夜区(不是省)和电信、网通这样的体例划分那些经由过程CDN节点访谒网站的蜘蛛，来历IP自然不是年夜北京总部出发时的IP

　　最终工作获得了很好的解决，该电商网站自优化以来效不美观一向精采，虽然采用了CDN，但事实证实CDN对搜索引擎而言没有任何障碍，反而有利于网站速度和提高用户体验。

　　这个seo案例也同时告诉我们，网上的seo教程是会过时的，跟着互联网的前进，我们seo也要学会理智的去看待一些教程和分享，要有质疑和勇于实践的精神，同时对互联网的一些根基的手艺常识要有所体味。

　　本文由兰州seo-东方惠梵优化团队杨帆AimarYang原创，转载请保留链接：http://www.easthv.cc/blog/lanzhouseo/fake-baiduspider-cdn/