顶部右侧 | 自行修改 顶部左侧内容
当前位置:网站首页 > SEO技术 > 正文

百度蜘蛛其独特的爬行研究

seo秀 2019-05-13 13 浏览 0 评论

前段时间seowhy开启未登陆用户禁止访问论坛的权限,让我想到的是,如果用户未登陆不能查看帖子,那百度蜘蛛能否索引到内容呢,我简单的理解为百度蜘蛛的爬行其实就是顺着网站中的锚文本链接爬行,然后形成一张大网,但如果论坛禁止未登陆用户访问,那么蜘蛛爬行的链接就是死链,就抓取不到内容,发帖就没有效果,其实我的想法是错误的,百度蜘蛛其独特的爬行机制不是我们想象的那么简单。,前日(10月22日),我修改公司网站的数据库,而后测试发布了一篇以“啊啊”为标题、内容的信息,前台并没有生成页面,也就是说这篇文章只有数据库中存在,前台没有它的一点信息(因为我有数据库洁癖,为了不让文章ID错乱,想着不用删除,等第二天更新文章修改掉就行,反正也没生成页面),第二天(10月23日),我把这条测试文章修改了,又发不了一篇新的文章,等待收录查看快照是这样的。,

前段时间seowhy开启未登陆用户禁止访问论坛的权限,让我想到的是,如果用户未登陆不能查看帖子,那百度蜘蛛能否索引到内容呢,我简单的理解为百度蜘蛛的爬行其实就是顺着网站中的锚文本链接爬行,然后形成一张大网,但如果论坛禁止未登陆用户访问,那么蜘蛛爬行的链接就是死链,就抓取不到内容,发帖就没有效果,其实我的想法是错误的,百度蜘蛛其独特的爬行机制不是我们想象的那么简单。

前日(10月22日),我修改公司网站的数据库,而后测试发布了一篇以“啊啊”为标题、内容的信息,前台并没有生成页面,也就是说这篇文章只有数据库中存在,前台没有它的一点信息(因为我有数据库洁癖,为了不让文章ID错乱,想着不用删除,等第二天更新文章修改掉就行,反正也没生成页面),第二天(10月23日),我把这条测试文章修改了,又发不了一篇新的文章,等待收录查看快照是这样的。

修改的那篇文章是22日的快照,新发布的正常,22日时是“啊啊”的内容,但点击百度快照进去发现是新的内容,让我又想到,难道百度收录文章的快照与文章更新的时间有关系?于是,今天(10月24日)我又更新了两篇文章,然后进数据库把一片文章的发布时间改为昨天,等待收录。

同一时间发布的两篇文章变成了上面的收录展示形式,可见22日发布的那篇文章其实当天就收录了,只是蜘蛛可能知道内容不是用户要发布的所以一直没放出,23日修改内容后,前台更新,蜘蛛顺着链接爬行到这个网站知道内容是真正内容了,就替换了22日的收录并放不来,但快照没有修改,至于今天发布的两偏文章展示不一样,都只是暂时的,你明天查看,都会变成24日快照,没有什么不同,只不过今日查看一个显示详细收录时间,一个显示当天。

从上面的分析可以看出,百度蜘蛛爬行有时是不按我们的常规思考进行的,它会通过各种方法进入你的数据库,抓取内容,而非与网站前台的种种限制能阻挡,除非你用robots文件来限制,seowhy虽屏蔽未登陆用户访问,但其实百度蜘蛛是可以抓取到内容的,因为它与我们用户的访问方法不一样。至于文章的发布时间,一定程度上会影响文章收录的快照,但不是绝对。

原文链接:郑州seo http://www.zzzhu.net/news/?p=401

相关推荐

目前西安SEO网站优化还有发展前景吗?
目前西安SEO网站优化还有发展前景吗?

我们都知道,做SEO网站优化其实是一种思维,不能能仅仅局限于技术上,而是要突破自己的固定思维的束缚,可以跟别的SEO优化师进行交流,这样会获取更多的优化心得,同...

2周前 (09-04) seo秀

SEO教程:网站内容、内链、外链、友情链接套路圈子

SEO套路教程:网站内容、内链、外链、友情链接就是一些网站优化扎实的基础套路SEO教程大家好,我是高兴,很高兴今天来给大家讲解SEO套路教程,网站内容、内链、外链、友情链接。PS:其实这篇文章我在去年...

老网站比新网站真的更容易优化吗?

很多人错误的以为,老网站一定比新网站更容易优化排名,其实未必,要看网站历史的状态变化,在某些情况下,确实是老网站更容易优化,毕竞,在时间轴上,老网站是会累积权重的,我们要以以下几个情况具体分析:没有进...

SEO基本功:站内优化的一些基本手段
SEO基本功:站内优化的一些基本手段

1、三要素在该做的地方都要做好,不管你的站是新站还是很牛逼的站,只要你打算依靠搜索引擎。那就不要懒了,别说什么没用的话。你去浏览器搜一搜,看看没有这些的站点乱七...

3周前 (09-01) seo秀

会SEO网站排名优化有什么用途?

SEO优化网站,提高网站关键词在搜索引擎排名的技术。是每一位做网络营销都绕不过去的基础技能。SEO发展经历了很多阶段,SEO已经成为了传统行业,就像冰箱、电灯等,曾是伟大发明,现在已经成为生活中必不可...

做SEO多久才能看到效果?
  • 做SEO多久才能看到效果?
  • 做SEO多久才能看到效果?
  • 做SEO多久才能看到效果?
  • 做SEO多久才能看到效果?
什么是SEO网络推广,每天都需要做那些事?
  • 什么是SEO网络推广,每天都需要做那些事?
  • 什么是SEO网络推广,每天都需要做那些事?
  • 什么是SEO网络推广,每天都需要做那些事?
  • 什么是SEO网络推广,每天都需要做那些事?
SEO全揭秘,这里独一份,适合各阶段人群
  • SEO全揭秘,这里独一份,适合各阶段人群
  • SEO全揭秘,这里独一份,适合各阶段人群
  • SEO全揭秘,这里独一份,适合各阶段人群
  • SEO全揭秘,这里独一份,适合各阶段人群
今日头条seo如何优化?如何做搜索靠前呢?
今日头条seo如何优化?如何做搜索靠前呢?

一、“头条seo”是什么?头条seo指的是在今日头条app上用关键词搜索结果排名靠前。做百度有所谓的“百度seo”,做谷歌有所谓的“谷歌seo”,那么作为头条这...

1个月前 (08-13) seo秀

如何判断一个要优化的关键词能否SEO上百度首页?
  • 如何判断一个要优化的关键词能否SEO上百度首页?
  • 如何判断一个要优化的关键词能否SEO上百度首页?
  • 如何判断一个要优化的关键词能否SEO上百度首页?
  • 如何判断一个要优化的关键词能否SEO上百度首页?

欢迎 发表评论: