网站优化利器:robots协议规范书写
seo秀2019-05-25 04:34:45SEO技术49来源:西安百度推广
Robots文件是网站和蜘蛛程序之间的“君子协议”——robots文件不仅仅可以节省网站的资源,还可以帮助蜘蛛更加有效的抓取网,从而提高排名。,1:只允许谷歌bot,如果要拦截除谷歌bot之外的所有爬虫:,
Robots文件是网站和蜘蛛程序之间的“君子协议”——robots文件不仅仅可以节省网站的资源,还可以帮助蜘蛛更加有效的抓取网,从而提高排名。
1:只允许谷歌bot
如果要拦截除谷歌bot之外的所有爬虫:
User-agent:*
disallow:/
Uer-agent:允许的蜘蛛名
Disallow:
2:“/folder/”和“/folder”的区别
举个例子:
User-agent:*
Disallow:/folder/
Disallow:/folder
“Disallow:folder/”表示拦截的是一个目录,该目录文件下的所有文件不允许被抓取,但是允许抓取folder.hlml。
“Disallow:/folder”:对/folder/下的所有文件和folder.html都不能被抓取。
3:“*”匹配任意字符
User-agent:*
表示屏蔽所有的蜘蛛。当我们做了伪静态处理之后,会同时又动态网页和静态网页,网页内容一模一样,视为镜态页面,所以我们要屏蔽掉动态的网页,可以用*号来屏蔽动态的网页
User-agent:*
Disallow:/?*?/
4:$匹配网址结束
如果要拦截以某个字符串结束的网址,就可以使用$,例如,要拦截以.asp结束的网址:
User-agent:*
Disallow:/*.asp$
也可以打开比较优秀的网站,看他们的robots文件是如何书写的,然后根据自己的需求进行相应的修改。Robots文件可以让蜘蛛把更多的时间花在要抓取的内容上,所以优化robots文件是很有必要的。
本文来自东阳高复:http://mygaofu.com,转载请注明链接
发表评论
上海到西安特价机票
回复人和猪的区别就是,猪一直是猪,而人有时却不是人。
西安会计网
回复为什么中国人结婚,都非要选个好日子呢?因为结完婚就没好日子过了!
西安市优质教育资源共享平台
回复也许命运扼住你的咽喉,只是让你少吃两口。
西安商铺转让
回复家家都有本难念的经,而上天还给了我梵文版。
西安工运学院
回复你就一甘蔗男,刚开始可甜了,到后面全成渣。
西安建材
回复不要总是那么自恋,美女多看了你一眼,只是因为你丑得比较独特。
西安公司黄页
回复可以不劳而获的,只有年纪和脂肪。
西安关中人才网
回复听说你过的不好,我蹲在门口,笑了一整天。
西安清洗公司
回复小时候我常想,长大了是上北大还是清华,现在想想原来是我想多了。
西安洗浴特服
回复人总有一死,不是穷死就是心死。
西安龙飞软件有限公司
回复要不是猪不会说话,不然你都没有,存在的价值。
西安汽车美容
回复所谓成长,就是在听到波涛汹涌四个字,再也联想不到大海了。
西安机柜
回复这世上如果有什么真理,那就是活该!
西安电脑培训
回复开车我最讨厌两种人,一种是喜欢加塞的人,另一种是不让我加塞的人。