顶部右侧 | 自行修改 西安网站推广
当前位置:网站首页 > SEO技术 > 正文

robots.txt的写法和利用百度站长平台工具自动生成

seo秀 2019-05-25 41 浏览 0 评论

百度站长平台提供了一个很好的robots.txt自动生成工具,利用它我们可以很方便的写出robots.txt,通过robots.txt阻止搜索引擎收录你不想要被收录的页面及目录,还可以阻止及引导蜘蛛爬行更多的页面,减少蜘蛛的爬行量,提高蜘蛛的爬行效率,有效的提升更多的页面被收录。,前面我们介绍了通过IIS日志分析让你更好的了解网站运行情况,可以通过IIS日志查询到蜘蛛爬行中返回404状态的页面,这里我们可以用robots.txt禁止蜘蛛爬行。,百度站长平台注册及网站验证方法这里就不说了,下面讲讲Robots工具的使用方法:,

百度站长平台提供了一个很好的robots.txt自动生成工具,利用它我们可以很方便的写出robots.txt,通过robots.txt阻止搜索引擎收录你不想要被收录的页面及目录,还可以阻止及引导蜘蛛爬行更多的页面,减少蜘蛛的爬行量,提高蜘蛛的爬行效率,有效的提升更多的页面被收录。

前面我们介绍了通过IIS日志分析让你更好的了解网站运行情况,可以通过IIS日志查询到蜘蛛爬行中返回404状态的页面,这里我们可以用robots.txt禁止蜘蛛爬行。

百度站长平台注册及网站验证方法这里就不说了,下面讲讲Robots工具的使用方法:

通过上图可以看到,蜘蛛返回404状态的页面都是网站改版前使用的网址,现在都不存在了,但是搜索引擎数据库还保存有记录,所以每天蜘蛛还是会来抓取这个页面的数据的,还有的时候是蜘蛛顺着别的网站上面留下的外链爬过来的。

下面我们演示怎样将通过光年SEO日志分析软件生成的日志报告中显示的404状态不存在的页面都屏蔽掉,不让蜘蛛抓取。

首先登陆百度站长平台,点击左边菜单的“Robots工具”进入Robots自动生成界面。

然后将上图中404状态的页面路径整理后复制到Robots工具输入框中。

User-agent底下选择“所有”,状态选择“不允许抓取”,输入路径后点击后面的“创建”,上图我们测试了两个路径,分别是目录和一个文件,可以一下子输入多个路径,建议先在记事本里面将网址整理好再提交,一行一个路径。

点击“创建”以后,可以看到,底下的robots.txt内容中出现的代码,而且百度站长平台Robots工具有一个好处就是,不论你是多层目录还是网站单文件页面,它都自动识别后排序生成,不会造成单页面和目录顺序错乱造成蜘蛛抓取robots.txt的时候出现错误,所以我们大不必担心格式问题了。

将所有需要屏蔽的页面或路径都生成以后,点击底下的“下载”,然后将robots.txt上传到网站根目录就可以了。

小提示:robots.txt上传以后,我们可以通过robots检测工具来实验一下robots.txt是否有效或者有什么错误,CHINAZ、SEOWHY、爱站等网站都有相关工具的。

建议用一个记事本收集404状态页面,然后整理存档,每次发现IIS日志中有新的404页面出现,就在以前的存档里面查找一下是否有重复,没有重复就可以直接添加到robots.txt文件中了。

本文由利川在线http://www.445400.com原创,转载请注明出处。

相关推荐

解决GOOGLE只收录网站首页问题

站长辛苦的做好网站,网站开始需要依靠搜索引擎带来巨大流量,baidugoogle二大搜索引擎,自己的网站被百度收录很多了,自己网站优化的很好,pr值也比较的高,为什么自己的网站在GOOGLE却收录...

蜘蛛SEO:百度收录减少的原因和解决办法!

百度收录减少的问题,好多站长都遇见过,最近好象严重点。最近我看到很多朋友说自己网站莫名其妙的百度收录减少,有的在还没有找到原因,没有合适的解决办法。百度收录减少也被有的朋友称呼为“百度拔毛”或者“百度...

SEO:雾里看花

SEO就是做关键词,我非常反感用"做"这个形容词,感觉是要强X搜索引擎,如果你觉得能玩得过百度,我就实在没话说了。,外链就是SEO的一切,SEO就是做关键词我非常反感用"做"这个形容词,感觉是要...

建议:别把SEO资料当教科书

给SEO初学者的建议,别把网上的资料当作SEO教科书。,为什么反对?,SEOer毕竟不都是文科高材生,在SEO资料写作中的措辞可能会给你带来一些误导,而一些资料大都没有经过校验和修改,这样的例子我看到...

百度搜索Gif/Jpg情色事件原属作弊门

首先声明,本文非宣扬色情。,从monyer那里看到说baidu搜索gif或者jpg会有大量色情图片,看了一下,果然如此!奇怪的是全部黄色图片都来自一个网站:218.204.253.41忽然对这个网站非...

如何更好的实现站点的内链

本文可以指导大家调整网站结构,更好的调整网站内部连接,从而促进PR提高。,一个能够被搜索引擎持续更新关注的站,必定是一个每天都有新内容更新的站。必定是一个能够被搜索引擎长期关注收录的站——内容充足的站...

怎样增加链接广泛度和网站流量

1、建立友情链接,多做与您网站内容相关的其他网站建立链接。不光要注重数量,更要注重质量,这样才会给你的网站带来真实的流量。因为当网络用户进入链接伙伴的网站时,他也可能通过链接来到您的网站。建立与主题...

Google SEO优化技术的12个要点总结

GoogleSEO优化技术的12个要点总结,一、选择服务器放在哪个区域,对于Google而言,不同的区域,搜索结果的就不同。一些英文关键词,你在中国用Google搜索,发现你网站的排名非产靠前,但是...

seo常见问题及参考答案(一)

seo培训:seo常见问题及参考答案(一),新手在学习seo的过程中往往有太多问题,我把seo咨询帖(共2000多个帖子)大体翻了一遍,把比较常见的seo问题整理一下.希望大家不要再次提重复问题.部分...

SEO看Google网站质量指南

最进Google对网站管理员指南进行了内容上的更新,我想Google应该对一些作弊手段进行了跟踪修正,有很多人都已经评论过了,下面是Charles站在SEO的角度对新Google网站管理员质量指南进行...

欢迎 发表评论: