SEO秀

您现在的位置是:首页>SEO技术

SEO技术

对照详细的robots.txt协议文件写法

seo秀2021-01-28 07:49:51SEO技术98来源:西安百度推广

许多建站系统,在建成网站后,都网站根目录,默认有robots.txt协议文件。在网站优化竞争日益加剧的今天,原本设立之初无优化因素的robots.txt文件也被最大化使用,掌握其写法,有备无患。

一:robots.txt协议文件有什么用?

搜索引擎接见一个网站的时刻,最先接见的文件就是robots.txt。她告诉搜索引擎蜘蛛,哪些网站页面可以被抓取,哪些克制抓取。外面来看,这个功效作用有限。从搜索引擎优化的角度来看,可以通过屏障页面,到达集中权重的作用,这,也是优化职员最为看重的地方。

以某seo站点为例,其robots.txt文件如图所示:

二:网站设置robots.txt的几个缘故原由。

1:设置接见权限珍爱网站平安。

2:克制搜索引擎爬取无效页面,集中权值到主要页面。

三:怎么用尺度写法誊写协议?

有几个观点需掌握。

User-agent示意界说哪个搜索引擎,如User-agent:Baiduspider,界说百度蜘蛛。

Disallow示意克制接见。

Allow示意运行接见。

通过以上三个下令,可以组合多种写法,允许哪个搜索引擎接见或克制哪个页面。

四:robots.txt文件放在那里?

此文件需放置在网站的根目录,且对字母巨细有限制,文件名必须为小写字母。所有的下令第一个字母需大写,其余的小写。且下令之后要有一个英文字符空格。

五:哪些时刻需要使用该协议。

1:无用页面,许多网站都有联系我们,用户协议等页面,这些页面相对于搜索引擎优化来讲,作用不大,此时需要使用Disallow下令克制这些页面被搜索引擎抓取。

2:动态页面,企业类型站点屏障动态页面,有利于网站平安。且多个网址接见统一页面,会造成权重涣散。因此,一样平常情况下,屏障动态页面,保留静态或伪静态页面。

3:网站后台页面,网站后台也可以归类于无用页面,克制收录有百益而无一害。

泉源:robots.txt协议

(责任编辑:网络)

发表评论

评论列表(22人评论 , 98人围观)
  • 2021-07-03 03:30:08

    世上什么事逼急了,都能做出来,除了数学题。

  • 2021-06-15 16:03:48

    想和男朋友去看电影,有什么好看的,男朋友介绍吗?

  • 2021-02-15 23:02:42

    别人问你有谈恋爱吗?只要说现在没有,就能掩盖过去也没有的事实。

  • 2021-04-01 10:06:55

    喜欢一个人是藏不住的,就算躲在衣柜里,还是会被她老公发现。

  • 2021-03-06 03:47:42

    現在矮矬窮不要緊,要相信將來有一天,你會變成矮矬窮老…

  • 2021-02-11 18:19:54

    有些人一旦错过了,真特么谢天谢地。

  • 2021-01-30 23:20:48

    我亲眼看着你走上台,不知道你是将要献丑,还是出丑。

  • 2021-02-23 10:54:24

    能不生气就不要生气,能不骂人就不要骂人,能动手就直接动手。