顶部右侧 | 自行修改 顶部左侧内容
当前位置:网站首页 > SEO技术 > 正文

何清勇:浅谈百度蜘蛛“伪装”IP的影响

seo秀 2019-05-13 18 浏览 0 评论

在经常分析网站日志文件的时候,总会发现百度蜘蛛(BaiDu Spider)IP中出现222.77.187.33,经查询,该IP是位于福建省福州市电信IP,而百度蜘蛛IP是位于北京的联通IP。在网站日志中分析该IP的抓取行为时候发现,该IP只抓取网页首页,经查询,该IP为站长工具的一个友情链接检测程序,该程序默认模拟百度蜘蛛程序抓取页面。,站长工具的友情链接检测界面,

在经常分析网站日志文件的时候,总会发现百度蜘蛛(BaiDu Spider)IP中出现222.77.187.33,经查询,该IP是位于福建省福州市电信IP,而百度蜘蛛IP是位于北京的联通IP。在网站日志中分析该IP的抓取行为时候发现,该IP只抓取网页首页,经查询,该IP为站长工具的一个友情链接检测程序,该程序默认模拟百度蜘蛛程序抓取页面。

站长工具的友情链接检测界面

该工具域名“link.chinaz.com”对应的IP为“222.77.187.33”,位于福建省福州市。

百度蜘蛛IP(根据网站日志文件统计)

123.125.71.* Baiduspider/2.0(百度网页爬虫),也包括 Baiduspider-image(百度图片爬虫)

61.135.186.* Baiduspider-cpro(百度联盟爬虫)

百度蜘蛛IP出现伪装IP的影响

分析网站日志文件是必不可少的工作,因为网站日志中记录着详细的数据,这些数据包括搜索引擎爬虫数据、服务器运行、用户浏览行为数据等等,对这些数据的分析,可以比较全面的掌握网站的情况。

对与SEO工作,针对性分析搜索引擎的爬虫数据,有助于了解这些蜘蛛的爬行习惯,进一步改进网站。

面对互联网数以亿计的网页数据,搜索引擎为了增加提高自身爬虫的工作效率果,往往会使用多个IP或同一IP下的多个蜘蛛程序进行抓取工作,但如果这些IP段或者蜘蛛程序存在伪装,必然会影响SEO人员对搜索引擎蜘蛛程序行为分析的判断结果,从而可能会影响SEO决策。

何况这次伪装的是百度蜘蛛的IP地址,抓取数量也比较多,造成的影响会更加严重,经过查询,很多SEO人员在网络上询问:

为什么百度蜘蛛总是抓取的网站首页?

为什么百度蜘蛛总是抓取而不是收录我的网站?

类似以上的问题在网络上很多,这些对于结果,对SEO人员的判断和工作都会造成很大的影响。

来源:何清勇SEO博客

相关推荐

目前西安SEO网站优化还有发展前景吗?
目前西安SEO网站优化还有发展前景吗?

我们都知道,做SEO网站优化其实是一种思维,不能能仅仅局限于技术上,而是要突破自己的固定思维的束缚,可以跟别的SEO优化师进行交流,这样会获取更多的优化心得,同...

2周前 (09-04) seo秀

SEO教程:网站内容、内链、外链、友情链接套路圈子

SEO套路教程:网站内容、内链、外链、友情链接就是一些网站优化扎实的基础套路SEO教程大家好,我是高兴,很高兴今天来给大家讲解SEO套路教程,网站内容、内链、外链、友情链接。PS:其实这篇文章我在去年...

老网站比新网站真的更容易优化吗?

很多人错误的以为,老网站一定比新网站更容易优化排名,其实未必,要看网站历史的状态变化,在某些情况下,确实是老网站更容易优化,毕竞,在时间轴上,老网站是会累积权重的,我们要以以下几个情况具体分析:没有进...

SEO基本功:站内优化的一些基本手段
SEO基本功:站内优化的一些基本手段

1、三要素在该做的地方都要做好,不管你的站是新站还是很牛逼的站,只要你打算依靠搜索引擎。那就不要懒了,别说什么没用的话。你去浏览器搜一搜,看看没有这些的站点乱七...

3周前 (09-01) seo秀

会SEO网站排名优化有什么用途?

SEO优化网站,提高网站关键词在搜索引擎排名的技术。是每一位做网络营销都绕不过去的基础技能。SEO发展经历了很多阶段,SEO已经成为了传统行业,就像冰箱、电灯等,曾是伟大发明,现在已经成为生活中必不可...

做SEO多久才能看到效果?
  • 做SEO多久才能看到效果?
  • 做SEO多久才能看到效果?
  • 做SEO多久才能看到效果?
  • 做SEO多久才能看到效果?
什么是SEO网络推广,每天都需要做那些事?
  • 什么是SEO网络推广,每天都需要做那些事?
  • 什么是SEO网络推广,每天都需要做那些事?
  • 什么是SEO网络推广,每天都需要做那些事?
  • 什么是SEO网络推广,每天都需要做那些事?
SEO全揭秘,这里独一份,适合各阶段人群
  • SEO全揭秘,这里独一份,适合各阶段人群
  • SEO全揭秘,这里独一份,适合各阶段人群
  • SEO全揭秘,这里独一份,适合各阶段人群
  • SEO全揭秘,这里独一份,适合各阶段人群
今日头条seo如何优化?如何做搜索靠前呢?
今日头条seo如何优化?如何做搜索靠前呢?

一、“头条seo”是什么?头条seo指的是在今日头条app上用关键词搜索结果排名靠前。做百度有所谓的“百度seo”,做谷歌有所谓的“谷歌seo”,那么作为头条这...

1个月前 (08-13) seo秀

如何判断一个要优化的关键词能否SEO上百度首页?
  • 如何判断一个要优化的关键词能否SEO上百度首页?
  • 如何判断一个要优化的关键词能否SEO上百度首页?
  • 如何判断一个要优化的关键词能否SEO上百度首页?
  • 如何判断一个要优化的关键词能否SEO上百度首页?

欢迎 发表评论: