SEO秀

您现在的位置是:首页>SEO技术

SEO技术

网站蜘蛛日志剖析

seo秀2020-12-31 22:47:15SEO技术79来源:西安百度推广

不清楚我们的网站百度蜘蛛是否来过,不知道我们网站百度蜘蛛是否能来,那你可以行使网站日志来剖析蜘蛛是否来过,爬行过哪些页面,什么时候来过等问题,那么我们应该若何去剖析网站蜘蛛日志。


在我们剖析网站日志的条件是必须要下载ISS日志,一样平常的情形下,我们都使用ftp,那么ISS日志均为空间商会给你提供下载地址。一样平常是在weblog文件中,我们可以直接从这一文件中获取站点的日志文件。一样平常的情形下,ISS日志是天天天生一次,然则对于网站较大,站点内容较多的可以设置每小时天生一次。

若何剖析蜘蛛日志

61.135.168.22 - - [11/Feb/2014:04:02:45 +0800] " /SEOjishu/161.html HTTP/1.1" 200 8450 "-" "Baiduspider+(+https://www.baidu.com/search/spider.htm)" 

以上的代码是我从自己的空间下载的一段日志,现在与人人一起来剖析一下,这段代码详细意思如下:

61.135.168.22:来路IP,也就是说这个用户或者蜘蛛进来我们网站的IP是多少。

11/Feb/2014:04:02:45:时间2014年2月11日早上4点02分45秒。

/SEOjishu/161.html:蜘蛛接见的页面,加上网站的主域名如:https://www.ssffx.com/SEOjishu/161.html

200:示意能够正常接见你的网站。

8450:示意此次加载了8450个字节。

Baiduspider:百度蜘蛛的全名。

以上是网站日志剖析的细节,那么以上的内容有两点,是我们需要注重的,同时在剖析的过程中也需要记着的。那就是状态代码和程序名的剖析。

状态代码

200 - 服务器乐成返回网页

404 - 请求的网页不存在

503 - 服务器暂时不可用

500 - 服务器泛起错误

蜘蛛名称

百度(Baidu)爬虫名称(Baiduspider)

谷歌(Google)爬虫名称(Googlebot)

雅虎(Yahoo)爬虫名称(Yahoo Slurp)

有道(Yodao)蜘蛛名称(YodaoBot)

搜狗(sogou)蜘蛛名称(sogou spider)

MSN的蜘蛛名称:msnbot

若何让蜘蛛经常接见我们的网站

那么看懂这些数据以后,许多同伙可能会很失望,以为自己的网站蜘蛛接见的很少甚至没有接见纪录,那么你也别忧郁,可能是你网站的一些小问题引起了蜘蛛的不关注。下面来看看面临蜘蛛不关注我们的网站,我们应该若何操作吧。

准时更新:对于小网站或者博客网站,我们可以准时更新1-3篇少量信息,那么对于论坛门户这种栏目较多的网站,我们就需要更具自己网站的情形来更新,以便获得蜘蛛的青睐。

网站舆图:制作蜘蛛网站舆图,当蜘蛛在抓取你的页面,蜘蛛会先抓取你的robots文件,以是网站舆图写在robots文件内里来指导蜘蛛抓取网站舆图内容。

(责任编辑:网络)

发表评论

评论列表(25人评论 , 79人围观)
  • 2021-01-22 22:55:25

    你不是走在牛B的道路上,而是仍在,装逼的道路上溜达。

  • 2021-03-28 13:33:15

    如果十年之后你未娶,我未嫁,那真是太惨了!

  • 2021-03-27 08:57:26

    发现新世界的人,刚开始都是走错了路。

  • 2021-04-03 15:01:19

    暑假前制定了一个plan,半个暑假结束了,完成了个p因为lan。

  • 2021-02-12 15:39:39

    麻烦学妹行李箱少装点,毕竟学长只是想认识你,不想把命搭楼梯上。

  • 2021-01-04 00:58:11

    我的眼里只有你,因为你的大脸,让我看不到别人。

  • 2021-01-13 15:09:20

    跟丑这个缺点比,穷根本不值得一提。

  • 2021-01-06 13:38:54

    能用钱解决的都不是问题,但如何有钱,才是你最大的问题。

  • 2021-01-01 17:17:56

    乡愁是一张小小的车票,我在这头,黄牛在那头。

  • 2021-01-02 06:50:43

    小时候最怕梦到自己找厕所,最最可怕的是,人没醒来厕所却找到了。