搜索引擎蜘蛛爬行规律探秘之二外链是否有时效性

《搜索引擎蜘蛛爬行规律探秘之一蜘蛛如何抓取链接》写完距今天已经20多天了，本来想一直写下去呢，但是写完第一篇之后，忽然没有了思路。今天跟朋友们说起来了外链的时效性，也就是说外链会不会失效。,本文不再讨论理论相关的内容了，而是会举一些例子来证明第一篇文章，同时也说一下链接的时效性吧。,

《搜索引擎蜘蛛爬行规律探秘之一蜘蛛如何抓取链接》写完距今天已经20多天了，本来想一直写下去呢，但是写完第一篇之后，忽然没有了思路。今天跟朋友们说起来了外链的时效性，也就是说外链会不会失效。

本文不再讨论理论相关的内容了，而是会举一些例子来证明第一篇文章，同时也说一下链接的时效性吧。

首先，外链所在页面被删除了，外链是否有效？

答案外链所在页面删除了依然是有效。证据如下：

我在博客中国的博客（可能是因为流量超标在2006年被删除了）早就已经被删了，但是百度依然有快照。今天看了下首页的快照已经没有了，但是文章页面还存在。看快照日期可以看到是2006年，甚至更久的。

也就是虽然页面被删除了有5年之久，但是百度的快照没有删除，那么你说这里面的链接蜘蛛会不会爬呢？

我感觉应该是会爬的，而且我在博客网的这个博客是有一个域名A的链接的，当时只是做了个跳转到博客首页。后来在我启用域名A做博客的时候，立马就获得了一个很好的权重，而且文章很容易被秒收。相信这个5年前的链接起到了不少的作用。

第二，如果外链所在页面搜索引擎没有了快照，外链是否有效呢？

答案可能会出乎很多人的意料，外链所在页面没有了快照依然还可以有效。原因可以查看我在蜘蛛如何抓取链接这篇文章里写的，蜘蛛抓取页面之后，会把内容和链接分开，链接也就是URL会加入一个网址索引库，而蜘蛛爬行是从这个网址索引库出发的。

先看证据，这个证据来自于谷歌站长工具：

这个截屏来自于Google站长工具故障诊断的404报告，以前我在原网站下面架设了个bbs，当然早在N年前已经删除了。可是这个不存在的页面，被Google蜘蛛抓取的来源地址竟然也是不存在的页面。而用Google搜索，是没有这些页面的快照的（如下图）。那是不是意味着已经404了很久的页面上的导出链接依然有效？

第三，那么外链对于搜索引擎是否有时效性呢？

很明显应该是有时效性的。那么我就猜测一下外链失效的原因吧，应该会有两个原因：那就是外链所在页面被删或者链接被删。

1.针对页面被删的情况，搜索引擎应该会继续爬行这个页面上的外链，直到这个页面404一定时间后，会给搜索引擎网址索引库一个命令删除这个外链。

2.而对于页面更改的情况，搜索引擎应该也会爬行这个外链，直到这个含有这个外链快照在搜索引擎内部彻底删除，会给网址索引库一个命令删除这个外链。因为含有外链的页面根据情况会保存N个时期的快照，这就是为什么有时候搜不同的词，网页的快照不同。

总之，外链是有时效性，但是链接修改或者页面被删除并不代表无效了。当然搜索引擎内部会有一个复杂的计算，过程不会像我说的这么简单。如果有什么不同意见请直接在本文下面留言，大家互相讨论。

转载请注明来自逍遥博客，本文地址：http://liboseo.com/1111.html

尊重版权，转载请注明出处和链接！