SEO秀

您现在的位置是:首页>SEO技术

SEO技术

robots是什么,robots怎么写?

seo秀2020-12-28 06:00:01SEO技术87来源:西安百度推广

robots是什么,robots怎么写?

深入熟悉robots

搜索引擎使用spider程序自动范文互联网上的网页并获取网页信息。Spider在接见一个网站时,会首页检查该网站的根域名下是否有一个叫robots.txt的纯文本,这个文件用于指定spider在您网站上的抓取局限。您可以在您的网站上建立一个robots.txt,在文件中声明改网站中哪些目录不让搜索引擎收录。(robots.txt文件应该放置在网站根目录下。)

1、robots的用法

User-agent:界说进制搜索引擎名字,比如说:百度(Baiduspider)、谷歌(Googlebot)、360(360Spider)等。*号代表所有搜索引擎
Disallow:不允许收录

Allow:允许收录

案例:

User-agent: * (声明克制所有的搜索引擎抓取以下内容)

Disallow:/blog/(克制网站blog栏目下所有的页面。比如说:/blog/123.html)

Disallow:/api(比如说:/apifsdfds/123.html也会被屏障。)

Allow:/blog/12/(一样平常情况下不需要写Allow的,而我们在克制的目录下面,我们需要让搜索引擎收录,那么我们就可以使用Allow,比如说我们前面克制了blog栏目下所有的页面,同时我们想/12/栏目下被收录,这个时刻我们就需要通过Allow来允许搜索引擎的收录。)

Disallow:*?*(只要你的路径内里带有问号的路径,那么这条路径将会被屏障。比如说:https://wenda.ssffx.com/?expert/default.html将会被屏障。)

Disallow:/*.php$(意思是以.php末端的路径所有屏障掉。)

若何使用Robots提升排名

一、屏障死链接

许多时刻,我们网站会发生死链接,比如说:网站改版、文章删除等,都很有可能会导致网站泛起404页面,那么这个时刻我们就需要通过robots来屏障这些死链接。查看死链的方式有以下两种:

1、)通过网站日志查询。

我们可以通过下载网站日志来查看我们的404页面(网站日志可以向空间商要,空间商会提供下载通道),我们用txt打开网站日志,通过搜索“404”,若是你网站有404页面,而且被接见到了,那么这个时刻就会被网站日志给纪录。

2、)百度站长平台查询

我们首先需要验证百度站长平台(若何验证就不说了,最基本的。)验证以后,我们通过百度站长工具的死链工具,可以清晰的看到,我们网站有哪些死链接。

二、屏障无价值的页面

许多网站都有一些没有价值的页面,比如说SEO指导中央的用户小我私家中央页面,这个小我私家中央页面不会对网站发生价值,在百度上面的展现也不会给网站带来权重。因此我们需要行使robots来屏障这样的页面。又比如说:一个企业网站的联系我们页面,这种页面不会给网站带来权重,用户也不会去搜索“联系我们”来找他想要的产物。因此我们需要把这种页面同时屏障。

(责任编辑:网络)

发表评论

评论列表(32人评论 , 87人围观)
  • 2021-03-12 04:40:01

    爱迪生千百次寻觅灯丝,就是为让你,当上耐用的电灯泡。

  • 2021-03-30 12:02:50

    失败并不可怕,可怕的是你还相信这句话。\\n

  • 2021-04-02 05:00:28

    生活还是有意思的,毕竟每天都因为不同的原因想死。

  • 2021-02-17 12:14:18

    我军训过了,请不要再叫我单身狗,以后请叫我军犬。

  • 2021-02-23 06:20:36

    如果吃亏是福的话,那我可能早就福如东海了。

  • 2021-01-30 00:21:08

    所谓复习就是,把不会的东西再确认一遍,你确实不会。

  • 2021-01-05 10:13:31

    在出租车内疯狂放臭屁,可以极大的降低,司机带你绕路的概率。

  • 2020-12-29 02:55:17

    想找另一半共度风雨,找到后你会发现,大部分风雨是另一半带来的。