顶部右侧 | 自行修改 顶部左侧内容
当前位置:网站首页 > SEO技术 > 正文

robots文件屏蔽搜索引擎抓取规则、为何还是会被收录?

seo秀 2019-05-25 27 浏览 0 评论

摘要:刚接手不久一个B2B电子商务平台、由于产品详情页有两种不同形式的URL:有32位、也有16位,所以需要对URL进行统一规范;,那么是采用32位的:http://www.csc86.com/product/5475beae-8324-4d52-911d-d53b78926e1a.html标准(长地址);,还是采用16位:http://www.csc86.com/product/79377.html(短地址)标准、当时考虑原则是 两种不同形式的URL百度索引数据及两种不同形式的URL收录速度、也就是说哪URL百度索引数据多且URL收录速度快那就采用哪种URL标准;,

摘要:刚接手不久一个B2B电子商务平台、由于产品详情页有两种不同形式的URL:有32位、也有16位,所以需要对URL进行统一规范;

那么是采用32位的:http://www.csc86.com/product/5475beae-8324-4d52-911d-d53b78926e1a.html标准(长地址);

还是采用16位:http://www.csc86.com/product/79377.html(短地址)标准、当时考虑原则是两种不同形式的URL百度索引数据及两种不同形式的URL收录速度、也就是说哪URL百度索引数据多且URL收录速度快那就采用哪种URL标准;

所以在百度站长工具自定义规则,分别查看两种特征页面集合的索引量数据

16位(短地址)的URL百度索引量数据

32位(长地址)的URL百度索引量数据

说明:

1、32位(长地址)的URL数据存量是16位(短地址)数据存量大概4倍

2、05-18当天16位(短地址)的URL索引量数据增加83574,而32位(长地址)URL索引量数据则增加2090

3、针对URL索引量增加没有做任何人工干预

也就是说16位(短地址)URL百度索引数据多于32位URL且短URL收录速度快,所以决定采用16位(短地址)做为产品详情URL规范;

问题:05-19号针对robots文件屏蔽32位URL搜索引擎相关抓取规则

robots文件如下:

但06-07号32位URL索引量还是出现大幅增长情况

当然看到这个数据第一反应就是robots规则不对,所以对robots进行检查、但发现robots没有问题、屏蔽规则也检测正常;

在06-09号对此问题进行反馈、得到反馈的结果是百度这边处理时间较长的, 所以百度处理此类问题的反应超级慢,所以建议在处理此类问题时最好使用百度站长具检测robots 并进行强制更新。

未经裕腾智工作室授权许可任何人不得复制、转载、或以其他任何方式使用裕腾智工作室的内容。裕腾智工作室保留追责权利。文章出处:裕腾智工作室  http://www.ying88.net/biji_share/57.html

相关推荐

做SEO多久才能看到效果?
  • 做SEO多久才能看到效果?
  • 做SEO多久才能看到效果?
  • 做SEO多久才能看到效果?
  • 做SEO多久才能看到效果?
什么是SEO网络推广,每天都需要做那些事?
  • 什么是SEO网络推广,每天都需要做那些事?
  • 什么是SEO网络推广,每天都需要做那些事?
  • 什么是SEO网络推广,每天都需要做那些事?
  • 什么是SEO网络推广,每天都需要做那些事?
SEO全揭秘,这里独一份,适合各阶段人群
  • SEO全揭秘,这里独一份,适合各阶段人群
  • SEO全揭秘,这里独一份,适合各阶段人群
  • SEO全揭秘,这里独一份,适合各阶段人群
  • SEO全揭秘,这里独一份,适合各阶段人群
今日头条seo如何优化?如何做搜索靠前呢?
今日头条seo如何优化?如何做搜索靠前呢?

一、“头条seo”是什么?头条seo指的是在今日头条app上用关键词搜索结果排名靠前。做百度有所谓的“百度seo”,做谷歌有所谓的“谷歌seo”,那么作为头条这...

4天前 seo秀

如何判断一个要优化的关键词能否SEO上百度首页?
  • 如何判断一个要优化的关键词能否SEO上百度首页?
  • 如何判断一个要优化的关键词能否SEO上百度首页?
  • 如何判断一个要优化的关键词能否SEO上百度首页?
  • 如何判断一个要优化的关键词能否SEO上百度首页?
百度官方分享:让蜘蛛抓取网页的四种方式
百度官方分享:让蜘蛛抓取网页的四种方式

百度在微信上分先过来四种让蜘蛛收录网页的四种方式,主推推送、sitemap、手工提交、自动推送。那是什么意思呢?1、主动推送:是最为快速的提交方式,建议您将站点...

3个月前 (06-03) seo秀

2019年百度seo算法大全 第一篇
  • 2019年百度seo算法大全 第一篇
  • 2019年百度seo算法大全 第一篇
  • 2019年百度seo算法大全 第一篇
  • 2019年百度seo算法大全 第一篇
2019年百度seo算法大全 第二篇
  • 2019年百度seo算法大全 第二篇
  • 2019年百度seo算法大全 第二篇
  • 2019年百度seo算法大全 第二篇
  • 2019年百度seo算法大全 第二篇
关键字的优化需要注意什么?
关键字的优化需要注意什么?

网站关键字可以带来更多的流量到您的网站,可以带来更好的排名为你的网站在搜索引擎。随着互联网科技的不断发展,我们在我们的日常生活中发现,在网络中起着非常重要的作用...

3个月前 (06-02) seo秀

SEO前景怎么样?

经济低迷,做付费推广你们不心疼吗?还是做SEO吧!对于利用搜索引擎进行的推广营销,这是任何企业都不可以忽略的。在做搜索引擎营销,即SEM,以百度为例子,SEM包含:知道、地图、文库、百科、经验等以及付...

欢迎 发表评论: