robots是什么，robots怎么写？

深入熟悉robots

搜索引擎使用spider程序自动范文互联网上的网页并获取网页信息。Spider在接见一个网站时，会首页检查该网站的根域名下是否有一个叫robots.txt的纯文本，这个文件用于指定spider在您网站上的抓取局限。您可以在您的网站上建立一个robots.txt，在文件中声明改网站中哪些目录不让搜索引擎收录。（robots.txt文件应该放置在网站根目录下。）

1、robots的用法

User-agent：界说进制搜索引擎名字，比如说：百度（Baiduspider）、谷歌（Googlebot）、360（360Spider）等。*号代表所有搜索引擎
Disallow：不允许收录

Allow：允许收录

案例：

User-agent: * （声明克制所有的搜索引擎抓取以下内容）

Disallow：/blog/（克制网站blog栏目下所有的页面。比如说：/blog/123.html）

Disallow：/api（比如说：/apifsdfds/123.html也会被屏障。）

Allow：/blog/12/（一样平常情况下不需要写Allow的，而我们在克制的目录下面，我们需要让搜索引擎收录，那么我们就可以使用Allow，比如说我们前面克制了blog栏目下所有的页面，同时我们想/12/栏目下被收录，这个时刻我们就需要通过Allow来允许搜索引擎的收录。）

Disallow：*?*（只要你的路径内里带有问号的路径，那么这条路径将会被屏障。比如说：https://wenda.ssffx.com/?expert/default.html将会被屏障。）

Disallow：/*.php$（意思是以.php末端的路径所有屏障掉。）

若何使用Robots提升排名

一、屏障死链接

许多时刻，我们网站会发生死链接，比如说：网站改版、文章删除等，都很有可能会导致网站泛起404页面，那么这个时刻我们就需要通过robots来屏障这些死链接。查看死链的方式有以下两种：

1、)通过网站日志查询。

我们可以通过下载网站日志来查看我们的404页面（网站日志可以向空间商要，空间商会提供下载通道），我们用txt打开网站日志，通过搜索“404”，若是你网站有404页面，而且被接见到了，那么这个时刻就会被网站日志给纪录。

2、）百度站长平台查询

我们首先需要验证百度站长平台（若何验证就不说了，最基本的。）验证以后，我们通过百度站长工具的死链工具，可以清晰的看到，我们网站有哪些死链接。

二、屏障无价值的页面

许多网站都有一些没有价值的页面，比如说SEO指导中央的用户小我私家中央页面，这个小我私家中央页面不会对网站发生价值，在百度上面的展现也不会给网站带来权重。因此我们需要行使robots来屏障这样的页面。又比如说：一个企业网站的联系我们页面，这种页面不会给网站带来权重，用户也不会去搜索“联系我们”来找他想要的产物。因此我们需要把这种页面同时屏障。

(责任编辑：网络)