SEO秀

您现在的位置是:首页>SEO技术

SEO技术

对照详细的robots.txt协议文件写法

seo秀2021-01-28 07:49:51SEO技术55来源:西安百度推广

许多建站系统,在建成网站后,都网站根目录,默认有robots.txt协议文件。在网站优化竞争日益加剧的今天,原本设立之初无优化因素的robots.txt文件也被更大化使用,掌握其写法,有备无患。

一:robots.txt协议文件有什么用?

搜索引擎接见一个网站的时刻,更先接见的文件就是robots.txt。她告诉搜索引擎蜘蛛,哪些网站页面可以被抓取,哪些克制抓取。外面来看,这个功效作用有限。从搜索引擎优化的角度来看,可以通过屏障页面,到达集中权重的作用,这,也是优化职员最为看重的地方。

以某seo站点为例,其robots.txt文件如图所示:

二:网站设置robots.txt的几个缘故原由。

1:设置接见权限珍爱网站平安。

2:克制搜索引擎爬取无效页面,集中权值到主要页面。

三:怎么用尺度写法誊写协议?

有几个观点需掌握。

User-agent示意界说哪个搜索引擎,如User-agent:Baiduspider,界说百度蜘蛛。

Disallow示意克制接见。

Allow示意运行接见。

通过以上三个下令,可以组合多种写法,允许哪个搜索引擎接见或克制哪个页面。

四:robots.txt文件放在那里?

此文件需放置在网站的根目录,且对字母巨细有限制,文件名必须为小写字母。所有的下令第一个字母需大写,其余的小写。且下令之后要有一个英文字符空格。

五:哪些时刻需要使用该协议。

1:无用页面,许多网站都有联系我们,用户协议等页面,这些页面相对于搜索引擎优化来讲,作用不大,此时需要使用Disallow下令克制这些页面被搜索引擎抓取。

2:动态页面,企业类型站点屏障动态页面,有利于网站平安。且多个网址接见统一页面,会造成权重涣散。因此,一样平常情况下,屏障动态页面,保留静态或伪静态页面。

3:网站后台页面,网站后台也可以归类于无用页面,克制收录有百益而无一害。

泉源:robots.txt协议

(责任编辑: *** )

发表评论

评论列表(7人评论 , 55人围观)
  • 2021-02-23 10:54:24

    能不生气就不要生气,能不骂人就不要骂人,能动手就直接动手。