顶部右侧 | 自行修改 顶部左侧内容
当前位置:网站首页 > SEO技术 > 正文

翻页式网页搜索引擎是如何进行抓取的

seo秀 2019-05-25 10 浏览 0 评论

Spider系统的目标就是发现并抓取互联网中一切有价值的网页,百度官方也明确表示蜘蛛只可以抓取到尽可能多的有价值资源并保持系统及实际环境中页面的一致性同时不给网站体验造成压力,也就是说蜘蛛不会抓取所有网站的所有页面,对此蜘蛛有很多的抓取策略来尽量快而全的发现资源链接,提高抓取效率。只有这样蜘蛛才能尽量满足绝大部分网站,这也是为什么我们要做好网站的链接结构,接下来笔者就只针对一种蜘蛛对翻页式网页的抓住机制来发表一点看法。,为什么需要这个抓取机制?,当前大多数网站都用翻页的形式来有序分布网站资源,当有新文章增加时,老资源往后推移到翻页系列中。对蜘蛛来说,这种特定类型的索引页是爬行的有效渠道,但是蜘蛛爬行频率和网站文章更新频率不尽相同,文章链接很有可能就被推到翻页条中,这样蜘蛛不可能每天从第1个翻页条爬到第80个,然后一个文章一个文章的抓取,到数据库对比,这样太浪费蜘蛛时间,也浪费你网站的收录时间,所以蜘蛛需要对这种特殊类型的翻页式网页来一个额外的抓取机制,从而保证收录资源的完全。,

Spider系统的目标就是发现并抓取互联网中一切有价值的网页,百度官方也明确表示蜘蛛只可以抓取到尽可能多的有价值资源并保持系统及实际环境中页面的一致性同时不给网站体验造成压力,也就是说蜘蛛不会抓取所有网站的所有页面,对此蜘蛛有很多的抓取策略来尽量快而全的发现资源链接,提高抓取效率。只有这样蜘蛛才能尽量满足绝大部分网站,这也是为什么我们要做好网站的链接结构,接下来笔者就只针对一种蜘蛛对翻页式网页的抓住机制来发表一点看法。

为什么需要这个抓取机制?

当前大多数网站都用翻页的形式来有序分布网站资源,当有新文章增加时,老资源往后推移到翻页系列中。对蜘蛛来说,这种特定类型的索引页是爬行的有效渠道,但是蜘蛛爬行频率和网站文章更新频率不尽相同,文章链接很有可能就被推到翻页条中,这样蜘蛛不可能每天从第1个翻页条爬到第80个,然后一个文章一个文章的抓取,到数据库对比,这样太浪费蜘蛛时间,也浪费你网站的收录时间,所以蜘蛛需要对这种特殊类型的翻页式网页来一个额外的抓取机制,从而保证收录资源的完全。

如何判断是否是有序翻页式页面?  

判断文章是否按发布时间有序排布是这类页面的一个必要条件,下面会说到。那么如何判断资源是否按发布时间有序排布呢?有些页面中每个文章链接后面跟随着对应的发布时间,通过文章链接对应的时间集合,判断时间集合是否按大到小或小到大排序,如果是的话,则说明网页中的资源是按发布时间有序排布,反之亦然。就算没写发布时间,蜘蛛写可以根据文章本身的实际发布时间进行判断。

该抓取机制原理?

针对这种翻页式页面,蜘蛛主要是通过记录每次抓取网页发现的文章链接,然后将此次发现的文章链接与历史上发现的链接作比较,如果有交集,说明该次抓取发现了所有的新增文章,可以停止对后面翻页条的抓取了;否则,说明该次抓取并未发现所有的新增文章,需要继续抓取下一页甚至下几页来发现所有的新增文章。

听起来可能有点不大懂,木木seo来举个很简单的例子,比如在网站翻页目录新添加了29篇文章,也就是说上次最新一篇是第30篇,而蜘蛛是一次性抓取10篇文章链接,这样蜘蛛第一次进行抓取时抓了10篇,与上次并没有交集,继续抓取,第二次又抓10篇,也就是一共抓20篇了,还是与上一次没有交集,然后继续抓取,这一次就抓到了第30篇,也就是和上次的有交集了,这就说明蜘蛛已经抓取了从上次抓取到这次网站更新的全部29篇文章。

建议

当前百度蜘蛛对网页的类型,网页中翻页条的位置,翻页条对应的链接,以及列表是否按照时间排序都会做相应的判断,并根据实际的情况进行处理,但是蜘蛛毕竟不能做到100%的识别准确率,所以如果站长在做翻页条时不要用JS,更不要用FALSH,同时要有频率的进行文章更新,配合蜘蛛的抓取,这样就可以极大地提高蜘蛛识别的准确率,从而提高蜘蛛在你网站的抓取效率。

再次提醒大家本文只是从蜘蛛一个抓取机制进行的解说,不代表蜘蛛就此一种抓取机制,在实际情况中是很多机制同时进行的。

作者:木木SEO  http://blog.sina.com.cn/s/blog_c206a2c30101g88a.html

相关推荐

做SEO多久才能看到效果?
  • 做SEO多久才能看到效果?
  • 做SEO多久才能看到效果?
  • 做SEO多久才能看到效果?
  • 做SEO多久才能看到效果?
什么是SEO网络推广,每天都需要做那些事?
  • 什么是SEO网络推广,每天都需要做那些事?
  • 什么是SEO网络推广,每天都需要做那些事?
  • 什么是SEO网络推广,每天都需要做那些事?
  • 什么是SEO网络推广,每天都需要做那些事?
SEO全揭秘,这里独一份,适合各阶段人群
  • SEO全揭秘,这里独一份,适合各阶段人群
  • SEO全揭秘,这里独一份,适合各阶段人群
  • SEO全揭秘,这里独一份,适合各阶段人群
  • SEO全揭秘,这里独一份,适合各阶段人群
今日头条seo如何优化?如何做搜索靠前呢?
今日头条seo如何优化?如何做搜索靠前呢?

一、“头条seo”是什么?头条seo指的是在今日头条app上用关键词搜索结果排名靠前。做百度有所谓的“百度seo”,做谷歌有所谓的“谷歌seo”,那么作为头条这...

2周前 (08-13) seo秀

如何判断一个要优化的关键词能否SEO上百度首页?
  • 如何判断一个要优化的关键词能否SEO上百度首页?
  • 如何判断一个要优化的关键词能否SEO上百度首页?
  • 如何判断一个要优化的关键词能否SEO上百度首页?
  • 如何判断一个要优化的关键词能否SEO上百度首页?
百度官方分享:让蜘蛛抓取网页的四种方式
百度官方分享:让蜘蛛抓取网页的四种方式

百度在微信上分先过来四种让蜘蛛收录网页的四种方式,主推推送、sitemap、手工提交、自动推送。那是什么意思呢?1、主动推送:是最为快速的提交方式,建议您将站点...

3个月前 (06-03) seo秀

2019年百度seo算法大全 第一篇
  • 2019年百度seo算法大全 第一篇
  • 2019年百度seo算法大全 第一篇
  • 2019年百度seo算法大全 第一篇
  • 2019年百度seo算法大全 第一篇
2019年百度seo算法大全 第二篇
  • 2019年百度seo算法大全 第二篇
  • 2019年百度seo算法大全 第二篇
  • 2019年百度seo算法大全 第二篇
  • 2019年百度seo算法大全 第二篇
关键字的优化需要注意什么?
关键字的优化需要注意什么?

网站关键字可以带来更多的流量到您的网站,可以带来更好的排名为你的网站在搜索引擎。随着互联网科技的不断发展,我们在我们的日常生活中发现,在网络中起着非常重要的作用...

3个月前 (06-02) seo秀

SEO前景怎么样?

经济低迷,做付费推广你们不心疼吗?还是做SEO吧!对于利用搜索引擎进行的推广营销,这是任何企业都不可以忽略的。在做搜索引擎营销,即SEM,以百度为例子,SEM包含:知道、地图、文库、百科、经验等以及付...

欢迎 发表评论: