网站优化利器：robots协议规范书写
seo秀 2019-05-25 39 浏览 0 评论
Robots文件是网站和蜘蛛程序之间的“君子协议”——robots文件不仅仅可以节省网站的资源，还可以帮助蜘蛛更加有效的抓取网，从而提高排名。
1：只允许谷歌bot
如果要拦截除谷歌bot之外的所有爬虫：
User-agent:*
disallow:/
Uer-agent:允许的蜘蛛名
Disallow:
2：“/folder/”和“/folder”的区别
举个例子：
User-agent:*
Disallow:/folder/
Disallow:/folder
“Disallow:folder/”表示拦截的是一个目录，该目录文件下的所有文件不允许被抓取，但是允许抓取folder.hlml。
“Disallow:/folder”：对/folder/下的所有文件和folder.html都不能被抓取。
3：“*”匹配任意字符
User-agent:*
表示屏蔽所有的蜘蛛。当我们做了伪静态处理之后，会同时又动态网页和静态网页，网页内容一模一样，视为镜态页面，所以我们要屏蔽掉动态的网页，可以用*号来屏蔽动态的网页
User-agent:*
Disallow:/?*?/
4：$匹配网址结束
如果要拦截以某个字符串结束的网址，就可以使用$，例如，要拦截以.asp结束的网址：
User-agent:*
Disallow:/*.asp$
也可以打开比较优秀的网站，看他们的robots文件是如何书写的，然后根据自己的需求进行相应的修改。Robots文件可以让蜘蛛把更多的时间花在要抓取的内容上，所以优化robots文件是很有必要的。
本文来自东阳高复：http://mygaofu.com，转载请注明链接
- 上一篇：网站被搜索引擎拔毛 老站交你如何解决
- 下一篇：浅谈如果让搜索引擎快速收录网站
相关推荐
-
- 让客户对你网站产生兴趣的办法！
-
大家好，欢迎来到西安蓝蜻蜓网络科技讲坛，今天我们讲述的是跟我们企业息息相关的话题，也是我们很多企业目前最头疼的问题，就是如何让客户对我们的企业或者个人网站产生兴...
-
6天前 小杨seo
-
- 中小型企业在网络营销上需要注意的问题
-
众所周知，随着现在互联网的发展和进步，越来越多的企业包括个人都加入了互联网这个庞大的信息体系中，我们通过互联网也了解很多企业的成长及产品信息，从而完成产品上的交...
-
6天前 小杨seo
-
- 西安网络推广和线下推广的区别
-
大家好，欢迎来到西安蓝蜻蜓网络讲坛，今天我们所讲的是，有关于我们企业线上和线下推广的共同点和不同点这方面的话题。随着互联网的进步，越来越多的企业入驻了互联网，同...
-
6天前 小杨seo
-
- seo诊断费用有哪些方面？
-
大家好，欢迎来到西安蓝蜻蜓网络讲坛，今天我们所讲述的是SEO诊断，什么是SEO诊断？SEO诊断是从哪几个方面诊断的？SEO诊断需要多少费用？一、什么是SEO诊断...
-
6天前 小杨seo
-
- 企业官网首页优化seo技术 优化知识有哪些！
-
seo是搜索引擎优化的意思，那么大家seo技术有哪些吗?优化知识有哪些呢?新型黑帽技术包括有哪些呢?下面宝丞网给大家介绍一下关于seo技术的相关内容，有需要的朋...
-
6天前 seo秀
-
- SEO技术，快速让你变成seo高手，干货需要收藏
-
前言：本篇培训直击SEO精髓，为什么只打算用一节课讲SEO?因为SEO本身没有那么高深的东西。互联网知识泛滥成灾的原因主要是培训机构惹的祸。为什么学SEO？排名...
-
6天前 seo秀
-
- SEO技术大全：SEO技术之经典30个白帽技术
-
SEO技术之经典30个白帽技术SEO技术之经典30个白帽技术，对于网络推广的人来说，如何让搜索引擎搜索到你的网站及让你的网站能在主流的搜索引擎上有良好的排名一直...
-
6天前 seo秀
-
- 网站优化SEO技术
-
大家日日都在用网站优化，SEO技术，日日不停的在做网站内容更新，外链制作等等，但是网站优化真的就仅仅是如此吗？为的是网站排名？网站流量还是网上营销额？也想问问我...
-
6天前 seo秀
-
- 什么是SEO高级技术？SEO教程教你如何运用
-
今天SEO教程要介绍的是SEO站内优化的五大核心。主要包括：网站标题的写法，原创文章以及如何写原创文章，网站更新设置，网站全站链接，四处一词等相关内容。 第一...
-
6天前 seo秀
- SEO是什么？SEO技术都包含哪些方面？
-
SEO是什么?百度百科上的解释如下：图一：什么是SEO简单的来说，就是通过优化手段来提升网站的排名。我们来举个例子说明一下，例如在百度搜索框中搜索SEO，如下图所示。图二：SEO的搜素结果我们看到，百...
欢迎 你 发表评论:
- 一周热门
- 标签列表
-
- 休闲 / 玩乐 (843)
- 动漫卡通 (475)
- 名人 / 明星 (891)
- 文化 / 娱乐 (2916)
- 电视 (947)
- 教育 / 培训 (3966)
- 家居 / 生活 (730)
- 家居用品 (406)
- 基础教育 (1067)
- 游戏电玩 (657)
- 时尚品牌 (1298)
- 体育 / 运动 (1050)
- 网络游戏 (375)
- 商业 / 金融 (433)
- 球队俱乐部 (994)
- 明星艺人 (357)
- 全国各地医院 (3705)
- 医院 / 医疗 (3727)
- 中医院 (413)
- 专科医院 (1006)
- 山东省医院 (383)
- 大型综合医院 (439)
- 女装品牌 (609)
- 国外大学 (348)
- 互联网服务 (680)