顶部右侧 | 自行修改 顶部左侧内容
当前位置:网站首页 > SEO技术 > 正文

我们如何能做到使蜘蛛逆向爬行索引

seo秀 2019-05-13 18 浏览 0 评论

首先,我们要来个免责声明-他们并不一定是必要的-但以防万一…但你必须注意的是,这些是一个概念化的东西,至少我是这样认为的,还没有进行实际的测试和实践证明。,蜘蛛的逆向爬行…至少我第一次起这个名字的时候我是这样想的。这种想法来源于很多的地方:,网站的页面的深度如果很高的话那对爬行和索引来说都是一个挑战,因为他们的结构很深,拥有大量的页面,会有爬行的障碍(例如那些大量基于参数的URL或者那些被认为没有什么价值的页面,这种情况会经常出现在一些电子商务的网站。),

首先,我们要来个免责声明-他们并不一定是必要的-但以防万一…但你必须注意的是,这些是一个概念化的东西,至少我是这样认为的,还没有进行实际的测试和实践证明。

蜘蛛的逆向爬行…至少我第一次起这个名字的时候我是这样想的。这种想法来源于很多的地方:

网站的页面的深度如果很高的话那对爬行和索引来说都是一个挑战,因为他们的结构很深,拥有大量的页面,会有爬行的障碍(例如那些大量基于参数的URL或者那些被认为没有什么价值的页面,这种情况会经常出现在一些电子商务的网站。)

或者一个网站希望能够尽可能的充分并迅速的被索引(也许一个网站添加了新的内容,它的URL就会发生戏剧化的改变,尽管301已经被定位了,或者这是一个新的站点)。

因此,怎样才能使网站能够被正常的爬行和索引?通常是通过以下的几种方式:

发现:搜索引擎蜘蛛会根据链接进入到你的网站

提交:一个站长会把站点和页面提交给搜索引擎

XML网站地图:一个站长给他们的网站创建一个XML网站地图,并通过搜索引擎使他们变得有效,或者就把它放在网站的根目录作为一个网站地图或者利用ROBOTS文件来进行自动搜索。

这些方法都是优点和缺点的,但是他们至少解决了如何让蜘蛛进入他们的站点,通过使用XML网站地图,可以帮助蜘蛛越过一些爬行的障碍。

无论是直接还是间接,主页被发现了。那么蜘蛛就会按照他们自己的路线进行爬行。从顶级的导航到第二层让后到子导航,爬行到顶级的分类页面,通过子分类的界面,然后到更深的产品和信息页面。反过来说,你想进行索引的这些页面同时占领了头部和长尾的搜索。这些也很有可能是产生交易或者是转化的页面。

蜘蛛来到你页面的频率是多少?它们一次性通常会爬多少页面?新的页面会多久才会被发现和抓取?相对而言旧的页面会多久被发现和抓取?本质上来说,应该平衡抓取,这就解释了为什么排除重复性内容的重要性。你不想心爱的蜘蛛把时间浪费在爬过和收录过的内容。

当你为一些大型的网站指出这些问题的话,你发现想让蜘蛛去爬行和喜欢的URL实在是多的让人觉得可怕,即使没有那些隐藏着的爬行障碍。请记住,甚至是XML网站地图,每个网站地图最多只能包括50000个URL,最少20个单独的网站地图的话加起来就会有1000000个页面。

要说的是,我要提醒大家这种情况并不适用于所有的网站和情况。这种“蜘蛛逆向爬行”的基础和使用XML网站地图是有些不同的。典型的XML网站地图策略是要提交每一个URL,就是希望每个页面都能被索引。这也许不是最好的策略,但是这是另外一个问题了。即使那样,这些策略往往会给首页过多的权重和优先权。

恰恰相反,我们应该把网站地图的重点放在一些低等级的页面上。通常都是单个的产品和信息页面。这种思想就是让蜘蛛去那些最深层最难爬的页面。

它们之后还会去哪儿呢?他们会按照蜘蛛做的那样做,开始爬行。想想这些深层次的页面。但愿他们内容丰富并且富有关键词。他们也许包括一些可以导航的元素,即使不是完全的高等级的导航,至少是一些分类导航。如果网站有类似的面包屑导航的话,我们可以直接喂给蜘蛛这些面包屑。

在这点上,我们应该更好的以更多的方式给蜘蛛展现我们的网站。这个观念也许并不是关于逆向爬行的,反而是关于让蜘蛛从两个底端开始爬行,这样的爬行最终也能到顶部的导航。

我们通常会假设蜘蛛会很自然的首先去找首页然后顺势往下爬遍整个网站。和那些多样化的产品等级的页面相比从主页到顶层页面有多少个唯一的URL?我的猜想是因为页面深度的不同,两个等级的页面的抓取数量是有很大的不同的。

正如我提到的,我认为这是一个低风险的路线。无论有没有xml网站地图,蜘蛛们都能找到页面的。他们会找到不在网站地图中的页面,因此即使是一个没有首页和顶级页面的网站地图,也不会遗漏掉这些页面。

在自然环境下,也许不会出现这些问题。蜘蛛会迅速爬过整个网站。一旦他们发现了链接他们就会追根究底。也许这些页面埋得太深了,他们有点儿不太喜欢。

无论如何,让这些网页被爬到和索引是很重要的,对于我的站来说这的确是一个艰难的过程。或许这只是一个时间问题。至少我要去尝试。一旦像我想象的那样整个网站的那个等级的页面都被建立了索引,我就可以继续并在XML网站地图中添加其他的URL,或者我可以做个实验,不把网站地图放在网站里。

那些神乎其神的问题是:

总体上说是不是更多的页面建立了索引?

是不会让那些深层页面更好更快的被建立索引?

是不是在短期内提高了索引率并让更多的页面被索引?

文章出处为http://www.leadseo.cn/seofuwu/seocehua/ 上海丽姿鸥,转载请保留出处!不胜感激!

相关推荐

目前西安SEO网站优化还有发展前景吗?
目前西安SEO网站优化还有发展前景吗?

我们都知道,做SEO网站优化其实是一种思维,不能能仅仅局限于技术上,而是要突破自己的固定思维的束缚,可以跟别的SEO优化师进行交流,这样会获取更多的优化心得,同...

2周前 (09-04) seo秀

SEO教程:网站内容、内链、外链、友情链接套路圈子

SEO套路教程:网站内容、内链、外链、友情链接就是一些网站优化扎实的基础套路SEO教程大家好,我是高兴,很高兴今天来给大家讲解SEO套路教程,网站内容、内链、外链、友情链接。PS:其实这篇文章我在去年...

老网站比新网站真的更容易优化吗?

很多人错误的以为,老网站一定比新网站更容易优化排名,其实未必,要看网站历史的状态变化,在某些情况下,确实是老网站更容易优化,毕竞,在时间轴上,老网站是会累积权重的,我们要以以下几个情况具体分析:没有进...

SEO基本功:站内优化的一些基本手段
SEO基本功:站内优化的一些基本手段

1、三要素在该做的地方都要做好,不管你的站是新站还是很牛逼的站,只要你打算依靠搜索引擎。那就不要懒了,别说什么没用的话。你去浏览器搜一搜,看看没有这些的站点乱七...

2周前 (09-01) seo秀

会SEO网站排名优化有什么用途?

SEO优化网站,提高网站关键词在搜索引擎排名的技术。是每一位做网络营销都绕不过去的基础技能。SEO发展经历了很多阶段,SEO已经成为了传统行业,就像冰箱、电灯等,曾是伟大发明,现在已经成为生活中必不可...

做SEO多久才能看到效果?
  • 做SEO多久才能看到效果?
  • 做SEO多久才能看到效果?
  • 做SEO多久才能看到效果?
  • 做SEO多久才能看到效果?
什么是SEO网络推广,每天都需要做那些事?
  • 什么是SEO网络推广,每天都需要做那些事?
  • 什么是SEO网络推广,每天都需要做那些事?
  • 什么是SEO网络推广,每天都需要做那些事?
  • 什么是SEO网络推广,每天都需要做那些事?
SEO全揭秘,这里独一份,适合各阶段人群
  • SEO全揭秘,这里独一份,适合各阶段人群
  • SEO全揭秘,这里独一份,适合各阶段人群
  • SEO全揭秘,这里独一份,适合各阶段人群
  • SEO全揭秘,这里独一份,适合各阶段人群
今日头条seo如何优化?如何做搜索靠前呢?
今日头条seo如何优化?如何做搜索靠前呢?

一、“头条seo”是什么?头条seo指的是在今日头条app上用关键词搜索结果排名靠前。做百度有所谓的“百度seo”,做谷歌有所谓的“谷歌seo”,那么作为头条这...

1个月前 (08-13) seo秀

如何判断一个要优化的关键词能否SEO上百度首页?
  • 如何判断一个要优化的关键词能否SEO上百度首页?
  • 如何判断一个要优化的关键词能否SEO上百度首页?
  • 如何判断一个要优化的关键词能否SEO上百度首页?
  • 如何判断一个要优化的关键词能否SEO上百度首页?

欢迎 发表评论: