顶部右侧 | 自行修改 顶部左侧内容
当前位置:网站首页 > SEO技术 > 正文

网站优化:robots.txt使用教程

seo秀 2019-05-12 1 浏览 0 评论

首先,我来介绍一下什么是robots.txt:robots.txt是搜索引擎中访问网站的时候要查 看的第一个文件。Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是 否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有 被口令保护的页面。最后,robots.txt必须放置在一个站点的根目录下。,大家可以参考一下谷歌、百度和腾讯的robots写法:,http://www.google.com/robots.txt,

首先,我来介绍一下什么是robots.txt:robots.txt是搜索引擎中访问网站的时候要查 看的第一个文件。Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是 否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有 被口令保护的页面。最后,robots.txt必须放置在一个站点的根目录下。

大家可以参考一下谷歌、百度和腾讯的robots写法:

http://www.google.com/robots.txt

http://www.baidu.com/robots.txt

http://www.qq.com/robots.txt

大家了解完robots.txt后,那么我们可以用robots.txt来做什么?

1、用robots.txt屏蔽相似度高的页面或没内容的页面。

我们知道,搜索引擎收录网页后,会对网页进行“审核”,而当两个网页的相似度很高时,那么搜索引擎就会删除掉其中一个,并且会降低一点你网站的得分。

假设以下这两个链接,内容其实差不多,那么第一个链接就应该屏蔽掉。

/XXX?123

/123.html

像第一个的链接这样的链接非常多,那么我们要怎么屏蔽呢?其实只要屏蔽/XXX?就可以屏蔽所有的链接了。

代码如下:

Disallow: /XXX?

同理,一些没有内容的页面我们也可以利用相同的办法将其屏蔽掉。

2、用robots.txt屏蔽多余的链接,一般保留静态的链接(既HTML、htm、shtml等)。

由于网站中经常会出现多个链接指向同一个页面的情况,而这样会让搜索引擎对网站的友好度降低。为了避免这一个情况,我们就可以通过robots.txt把 非主要的链接去掉。

比如以下两个链接指向同样的页面:

/OOO?123

/123.html

那么我们就应该去掉第一个垃圾,代码如下:

Disallow: /OOO?123

3、用robots.txt屏蔽死链

死链就是曾经存在的网页,因为改版或其他原因而失去效用后就变成死链,也就是说看似一个正常的网页链接,但点击后不能打开相对应的网页页面。

比如,原来在目录为/seo下的所有链接,因为目录地址的改变,现在都变成死链接了,那么我们可以用robots.txt把他屏蔽掉,代码如下:

Disallow: /seo/

4、告诉搜索引擎你的sitemap.xml地址

利用robots.txt可以告诉搜索引擎你sitemap.xml文件的地址,而不需要在网站上添加sitemap.xml的链接。具体代码如下:

Sitemap: 你的sitemap地址

以上就是robots.txt的基本用法,一个好的网站必定会有一个好的robots.txt,因为robots.txt是搜索引擎了解你网站的一 个途径。另外在这里我推荐一下一个比较适合wordpress用户使用的robots.txt写法:

User-agent: *

Disallow: /wp-

Disallow: /feed/

Disallow: /comments/feed

Disallow: /trackback/

Sitemap: http://rainjer.com/sitemap.xml

最后,如果你觉得上面所说的还不能满足你的需要,那么你可以在谷歌或百度官方提供的robots.txt使用指南学习:

百度:http://www.baidu.com/search/robots.html

谷歌:http://www.google.com/support/forum/p/webmasters/thread?tid=4dbbe5f3cd2f6a13&hl=zh-CN

原创文章,如需转载,请注明:转载自雨泽博客

本文链接:http://rainjer.com/seo/47.html

相关推荐

因果剖析:浅聊SEO失败的四个根本内因

市场效应往往都会因为个别现象而迅速升温,不仅仅是会带动小地区变化,往往也是表现整个行业的特征,现在多数SEOer面对的一个残酷的现实,不仅是工作的苦逼,同时一些过于依赖SEO的朋友也面临重大人生灰暗...

协同理念:概述网站文章优化五个操作重心

对于文章优化无非就那几点,其间章法技巧三磨四灼短时之间都可以迅速掌握,这类的心法技巧都无多大难度,但是内容或文章似乎在另一个层次上成为了一个揪心的痛点,这点普遍市场都是如此,不得不承认这种东西看似不难...

降低网站跳出率行之有效的三种方法

一个网站的跳出率过高,直接导致的结果会造成排名不稳定。根据理想青年工作室研究表明,网站跳出率并不会参与到初期的关键词排名中,但会参与到已有排名的优化中,也就是说,你排第一,他排第二,但你的跳出率是80...

邮件营销如何触碰“G点”,让用户高潮迭起、欲罢不能?

广告是让人讨厌的,毫无疑问。,在这广告充斥的互联网时代,QQ邮箱里的收件箱早已泛滥成灾。因此这样导致了QQ邮件营销的没落,人们对广告似乎已经产生了免疫功能。站在自己的角度来说,对于QQ邮箱的邮件,一大...

SEO自媒体运营速成视频:轻松引爆高精准流量的捷径

2016可以说是自媒体比较火爆的一年,就光写博客的,都有好几千草根站长加入了,但做得多不一定做得好,目前自媒体做得好的少之又少,更别说赚钱了,做互联网什么最重要?流量最重要!如何获取流量?自媒体运营推...

【大拿分享】如何发现并避免网站被劫持

说到网站被劫持,很多站长并不陌生,可如何才能有效发现并避免被劫持,是很多网站头疼的问题,学院特邀社区版主以利,为大家分享网站被劫持解决方案。, 一、什么是网站劫持,网站劫持:是指打开一个网...

九枝兰专访:利用大数据概率论可极大提高SEM投放ROI

前言:随着关键词CPC的竞争白热化,曾经的SEM投放从蓝海变红海,那些急需流量的企业主遇到极大的营销困境。用什么来拯救SEM投放?面对楚楚可怜的ROI我们到底还能做些什么?今天这篇文章也许能帮你找到新...

优化宝贝降权了?优化中你不能不知的小技巧

淘宝卖家在店铺的日常操作中,随着市场环境的变化,经常会遇到老链接再次优化的情况。本来这种情况在平常不过了。但是,很多卖家发现,重新优化了宝贝之后,排名下滑,流量骤降。,其实宝贝的各项优化:包括标题、上...

域名也重要?SEO优化排名

2015年-2016年优化变的更加有难度,百度为了在搜索方面也做多次的调整,相信很多优化的中作者都体会到了吧!,2016年下半年在北京的时候偶然碰见有个做多年的SEO总监,谈到SEO优化的事情,说到他...

换性别也别换域名!真要换?那就看看如何将损失降到最低

很多网站都经历过换域名,或者筹划着要换域名。讲真,换域名或者改动URL对网站来说都会有损失,刚刚完成换域名的三木老师用他的亲身经历给大家讲讲如何换域名,又怎能通过平台工具减少损失。,一、网站改版尽量别...

欢迎 发表评论: