顶部右侧 | 自行修改 顶部左侧内容
当前位置:网站首页 > SEO技术 > 正文

何清勇:浅谈百度蜘蛛“伪装”IP的影响

seo秀 2019-05-13 2 浏览 0 评论

在经常分析网站日志文件的时候,总会发现百度蜘蛛(BaiDu Spider)IP中出现222.77.187.33,经查询,该IP是位于福建省福州市电信IP,而百度蜘蛛IP是位于北京的联通IP。在网站日志中分析该IP的抓取行为时候发现,该IP只抓取网页首页,经查询,该IP为站长工具的一个友情链接检测程序,该程序默认模拟百度蜘蛛程序抓取页面。,站长工具的友情链接检测界面,

在经常分析网站日志文件的时候,总会发现百度蜘蛛(BaiDu Spider)IP中出现222.77.187.33,经查询,该IP是位于福建省福州市电信IP,而百度蜘蛛IP是位于北京的联通IP。在网站日志中分析该IP的抓取行为时候发现,该IP只抓取网页首页,经查询,该IP为站长工具的一个友情链接检测程序,该程序默认模拟百度蜘蛛程序抓取页面。

站长工具的友情链接检测界面

该工具域名“link.chinaz.com”对应的IP为“222.77.187.33”,位于福建省福州市。

百度蜘蛛IP(根据网站日志文件统计)

123.125.71.* Baiduspider/2.0(百度网页爬虫),也包括 Baiduspider-image(百度图片爬虫)

61.135.186.* Baiduspider-cpro(百度联盟爬虫)

百度蜘蛛IP出现伪装IP的影响

分析网站日志文件是必不可少的工作,因为网站日志中记录着详细的数据,这些数据包括搜索引擎爬虫数据、服务器运行、用户浏览行为数据等等,对这些数据的分析,可以比较全面的掌握网站的情况。

对与SEO工作,针对性分析搜索引擎的爬虫数据,有助于了解这些蜘蛛的爬行习惯,进一步改进网站。

面对互联网数以亿计的网页数据,搜索引擎为了增加提高自身爬虫的工作效率果,往往会使用多个IP或同一IP下的多个蜘蛛程序进行抓取工作,但如果这些IP段或者蜘蛛程序存在伪装,必然会影响SEO人员对搜索引擎蜘蛛程序行为分析的判断结果,从而可能会影响SEO决策。

何况这次伪装的是百度蜘蛛的IP地址,抓取数量也比较多,造成的影响会更加严重,经过查询,很多SEO人员在网络上询问:

为什么百度蜘蛛总是抓取的网站首页?

为什么百度蜘蛛总是抓取而不是收录我的网站?

类似以上的问题在网络上很多,这些对于结果,对SEO人员的判断和工作都会造成很大的影响。

来源:何清勇SEO博客

相关推荐

百科通过率低?五大误区你知道吗?
百科通过率低?五大误区你知道吗?

在没有做百度百科之前是不是感觉很简单,只是写个文案随便编辑下,就可以让自己的词条在百度上被搜到?看了别人百科,明明是小公司却做的像个大企业?自己的公司这么优秀却...

3小时前 seo秀

浅谈站长应该如何写好网站描述

网站描述就是给网站一个大概的信息综合。通过在搜索引挚显示出来的描述信息,用户就知道此网站是做什么的。有什么服务,注重哪一块的发展。比如站长之家的描述就是:“站长之家(中国站长站)为个人站长与企业网络提...

浅析把软文划分为三个等级来解读

软文和外链可以说是互联网推广的软实力和硬实力。如果说外链的数量是有个度的话,那么软文的效果是可以无限放大的。本文就把软文划分为有形软文、无形软文和无我软文三个等级来解读。,1,有形软文,五祖弘忍讲授完...

我所了解的seo知识之扫盲篇(一)

这阵子通过对SEO的学习有了些了解,虽然是一个菜鸟,但我相信持久不懈的努力会给我带来丰硕的成果。在这里总结下SEO的基础知识,为以后更好的学习做个铺垫。,关于域名和空间的选择:如果是要做英文站,域名一...

分享自己如何做台湾外贸网站的优化

随着大陆和台湾贸易的不断增加,现在大陆的台商企业越来越多,国内对台贸易的企业也越来越多。今日,笔者接到了一个优化对台贸易的站点的优化项目。在优化过程中有几点心得,在这里和大家分享一下。,台湾的搜索引擎...

浅谈新手应如何学习和掌握SEO的六大方法

简单说一下SEO(SearchEngineOptimization),也就是我们所说的“搜索引擎优化”,是现在站长们运用较为广泛的一种营销方式,他的作用是通过站内与站外的优化来提升网站的关键词的排...

网站用户体验和转化率的催化剂-导航

吸引你的目标观众通过一些创造性的营销计划和搜索引擎优化来你的网站对于带来访客和把他们转化为客户来说只是第一步。一旦你的潜在客户来到了你的网站,如何留住他们对你们来说也是同样重要的。一个吸引人的布局设计...

SEO没有尽头 后期网站分析维护该做什么

搜索引擎优化(SEO)的尽头是哪里,优化到什么程度我才能坐享其成呢,何时才是尽头呢?这可能是刚开始接触SEO的朋友都会自然想到的一个问题,我也想过。人毕竟是懒惰的,想着坐享其成的那天,可惜啊,做了一年...

浅析搜狗搜索近期发展及优化需要注意的事项

据CNZZ(国内领先的网络分析工具)统计,目前搜狗的搜索引擎市场份额为5.43%,同期谷歌的市场份额为7.41%。百度仍是龙头老大,市占率达到82.53%。搜狗目前已经成为国内仅次于百度、谷歌的第三大...

如何让b2c电商网站收录有效的飞起来

网站的收录数量,是搜索引擎对你网站内容和网站结构的一个反馈,所以大家都会希望自己的网站收录越多越好。但就笔者看来,对于网站的收录,不应该只关注数量,还应该看重质量,特别是b2c的网站,如果你的网站收录...

欢迎 发表评论: