顶部右侧 | 自行修改 顶部左侧内容
当前位置:网站首页 > SEO技术 > 正文

百度蜘蛛其独特的爬行研究

seo秀 2019-05-13 3 浏览 0 评论

前段时间seowhy开启未登陆用户禁止访问论坛的权限,让我想到的是,如果用户未登陆不能查看帖子,那百度蜘蛛能否索引到内容呢,我简单的理解为百度蜘蛛的爬行其实就是顺着网站中的锚文本链接爬行,然后形成一张大网,但如果论坛禁止未登陆用户访问,那么蜘蛛爬行的链接就是死链,就抓取不到内容,发帖就没有效果,其实我的想法是错误的,百度蜘蛛其独特的爬行机制不是我们想象的那么简单。,前日(10月22日),我修改公司网站的数据库,而后测试发布了一篇以“啊啊”为标题、内容的信息,前台并没有生成页面,也就是说这篇文章只有数据库中存在,前台没有它的一点信息(因为我有数据库洁癖,为了不让文章ID错乱,想着不用删除,等第二天更新文章修改掉就行,反正也没生成页面),第二天(10月23日),我把这条测试文章修改了,又发不了一篇新的文章,等待收录查看快照是这样的。,

前段时间seowhy开启未登陆用户禁止访问论坛的权限,让我想到的是,如果用户未登陆不能查看帖子,那百度蜘蛛能否索引到内容呢,我简单的理解为百度蜘蛛的爬行其实就是顺着网站中的锚文本链接爬行,然后形成一张大网,但如果论坛禁止未登陆用户访问,那么蜘蛛爬行的链接就是死链,就抓取不到内容,发帖就没有效果,其实我的想法是错误的,百度蜘蛛其独特的爬行机制不是我们想象的那么简单。

前日(10月22日),我修改公司网站的数据库,而后测试发布了一篇以“啊啊”为标题、内容的信息,前台并没有生成页面,也就是说这篇文章只有数据库中存在,前台没有它的一点信息(因为我有数据库洁癖,为了不让文章ID错乱,想着不用删除,等第二天更新文章修改掉就行,反正也没生成页面),第二天(10月23日),我把这条测试文章修改了,又发不了一篇新的文章,等待收录查看快照是这样的。

修改的那篇文章是22日的快照,新发布的正常,22日时是“啊啊”的内容,但点击百度快照进去发现是新的内容,让我又想到,难道百度收录文章的快照与文章更新的时间有关系?于是,今天(10月24日)我又更新了两篇文章,然后进数据库把一片文章的发布时间改为昨天,等待收录。

同一时间发布的两篇文章变成了上面的收录展示形式,可见22日发布的那篇文章其实当天就收录了,只是蜘蛛可能知道内容不是用户要发布的所以一直没放出,23日修改内容后,前台更新,蜘蛛顺着链接爬行到这个网站知道内容是真正内容了,就替换了22日的收录并放不来,但快照没有修改,至于今天发布的两偏文章展示不一样,都只是暂时的,你明天查看,都会变成24日快照,没有什么不同,只不过今日查看一个显示详细收录时间,一个显示当天。

从上面的分析可以看出,百度蜘蛛爬行有时是不按我们的常规思考进行的,它会通过各种方法进入你的数据库,抓取内容,而非与网站前台的种种限制能阻挡,除非你用robots文件来限制,seowhy虽屏蔽未登陆用户访问,但其实百度蜘蛛是可以抓取到内容的,因为它与我们用户的访问方法不一样。至于文章的发布时间,一定程度上会影响文章收录的快照,但不是绝对。

原文链接:郑州seo http://www.zzzhu.net/news/?p=401

相关推荐

百科通过率低?五大误区你知道吗?
百科通过率低?五大误区你知道吗?

在没有做百度百科之前是不是感觉很简单,只是写个文案随便编辑下,就可以让自己的词条在百度上被搜到?看了别人百科,明明是小公司却做的像个大企业?自己的公司这么优秀却...

4小时前 seo秀

浅谈站长应该如何写好网站描述

网站描述就是给网站一个大概的信息综合。通过在搜索引挚显示出来的描述信息,用户就知道此网站是做什么的。有什么服务,注重哪一块的发展。比如站长之家的描述就是:“站长之家(中国站长站)为个人站长与企业网络提...

浅析把软文划分为三个等级来解读

软文和外链可以说是互联网推广的软实力和硬实力。如果说外链的数量是有个度的话,那么软文的效果是可以无限放大的。本文就把软文划分为有形软文、无形软文和无我软文三个等级来解读。,1,有形软文,五祖弘忍讲授完...

我所了解的seo知识之扫盲篇(一)

这阵子通过对SEO的学习有了些了解,虽然是一个菜鸟,但我相信持久不懈的努力会给我带来丰硕的成果。在这里总结下SEO的基础知识,为以后更好的学习做个铺垫。,关于域名和空间的选择:如果是要做英文站,域名一...

分享自己如何做台湾外贸网站的优化

随着大陆和台湾贸易的不断增加,现在大陆的台商企业越来越多,国内对台贸易的企业也越来越多。今日,笔者接到了一个优化对台贸易的站点的优化项目。在优化过程中有几点心得,在这里和大家分享一下。,台湾的搜索引擎...

浅谈新手应如何学习和掌握SEO的六大方法

简单说一下SEO(SearchEngineOptimization),也就是我们所说的“搜索引擎优化”,是现在站长们运用较为广泛的一种营销方式,他的作用是通过站内与站外的优化来提升网站的关键词的排...

网站用户体验和转化率的催化剂-导航

吸引你的目标观众通过一些创造性的营销计划和搜索引擎优化来你的网站对于带来访客和把他们转化为客户来说只是第一步。一旦你的潜在客户来到了你的网站,如何留住他们对你们来说也是同样重要的。一个吸引人的布局设计...

SEO没有尽头 后期网站分析维护该做什么

搜索引擎优化(SEO)的尽头是哪里,优化到什么程度我才能坐享其成呢,何时才是尽头呢?这可能是刚开始接触SEO的朋友都会自然想到的一个问题,我也想过。人毕竟是懒惰的,想着坐享其成的那天,可惜啊,做了一年...

浅析搜狗搜索近期发展及优化需要注意的事项

据CNZZ(国内领先的网络分析工具)统计,目前搜狗的搜索引擎市场份额为5.43%,同期谷歌的市场份额为7.41%。百度仍是龙头老大,市占率达到82.53%。搜狗目前已经成为国内仅次于百度、谷歌的第三大...

如何让b2c电商网站收录有效的飞起来

网站的收录数量,是搜索引擎对你网站内容和网站结构的一个反馈,所以大家都会希望自己的网站收录越多越好。但就笔者看来,对于网站的收录,不应该只关注数量,还应该看重质量,特别是b2c的网站,如果你的网站收录...

欢迎 发表评论: