您现在的位置:首页 » 网站新闻
南阳网站优化、南阳seo学会剖析网站日志了解蜘蛛对网站抓取情况
2020-03-23 点击数:91

南阳网站优化作为SEO咱们会常常剖析网站日志,经过网站日志的剖析,咱们能够愈加了解蜘蛛对网站抓取状况,所谓的网站日志便是记载web服务器接收处理请求以及运行时过错等各种原始信息的以·log结尾的文件,网站日志最大的含义是记载网站运营中比如空间的运营状况,被拜访请求的记载。南阳seo经过网站日志能够清楚的得知用户在什么IP、什么时刻、用什么操作系统、什么浏览器、什么分辨率显示器的状况下拜访了你网站的哪个页面,是否拜访成功。
网站日志
 
一、网站日志的作用
 
1、南阳网站优化经过网站日志能够了解蜘蛛对网站的根本爬取状况,能够知道蜘蛛的爬取轨迹和爬取量,经过咱们的网站日志,外链的多和少和网站蜘蛛的爬取量是有直接影响的,咱们所说的链接钓饵便是假如你做了一个外链,蜘蛛在爬取这个外链页面并把页面放出来时,蜘蛛能够经过你留的这个链接来爬取你的网站,而网站日志正是会记载下蜘蛛的这次爬取举动。
 
2、网站的更新频率也和网站日志中蜘蛛抓取的频率有关,一般来说更新频率越高,蜘蛛的抓取频率越高,而咱们网站的更新不仅仅只是新内容的增加一起还有咱们的微调操作。
 
3、咱们能够依据网站日志的反响状况,对咱们的空间的某些事情和问题提前进行预警,因为服务器假如出问题的话在网站日志中会第一时刻反映出来,要知道服务器的安稳速度和翻开速度两者都会直接影响咱们的网站。
 
4、经过网站日志咱们能够知道网站的那些页面是很受蜘蛛欢迎的,而哪些页面是蜘蛛连碰都不去碰的,南阳网站优化一起咱们还能发现有一些蜘蛛由所以过度爬取对咱们的服务器资源损耗是很大的,咱们要进行屏蔽作业。
 
二、如何下载日志
在购买空间的时分需求问清楚是否支撑网站日志下载,但现在根本虚拟主机都有这功用,南阳seo网站日志是每天生成一次,咱们只需求用FTP东西传到本地就能够。
 
 
三、剖析网站日志
 
LOGHAO日志剖析

LOGHAO日志剖析
 
1、日志的后缀名是log的咱们用记事本翻开,挑选格式里的主动换行这样看起来方便,一起用查找功用查找BaiduSpider和Googlebot这两个蜘蛛。
 
例如:
 
百度蜘蛛 2012-03-13 00:47:10 W3SVC177 116.255.169.37 GET / – 80 – 220.181.51.144 Baiduspider-favo+(+ baidu /search/spider ) 200 0 0 15256 197 265
 
谷歌机器人 2012-03-13 08:18:48 W3SVC177 116.255.169.37 GET /robots.txt – 80 – 222.186.24.26 Googlebot/2.1+(+ google /bot ) 200 0 0 985 200 31
 
咱们分段来解释
 
  2012-03-13 00:47:10 蜘蛛爬取的日期和时刻点;W3SVC177 这个是机器码这个是惟一的 咱们不去管它;116.255.169.37 这个IP地址是服务器的IP地址;GET 代表事情,GET后边便是蜘蛛爬取的网站页面,斜杠就代表主页,80 是端口的意思,220.181.51.144 这个IP则是蜘蛛的IP,这儿海瑶SEO快排发包技术小编告知我们一个辨别真假百度蜘蛛的方法,咱们电脑点击开始运行输入cmd翻开命令提示符,输入nslookup空格加蜘蛛IP点击回车,一般真百度蜘蛛都有自己的服务器IP而假蜘蛛则没有。
 
  假如网站中呈现了大量的假蜘蛛则说明有人假充百度蜘蛛来收集你的内容,你就需求注意了,假如太猖獗那会很占用你的服务器资源,咱们需求屏蔽他们的IP.
 
  200 0 0这儿是状态码 状态码的意思能够在百度里查找下;197 265最终两个数字则代表着拜访和下载的数据字节数。
 
2、咱们剖析的时分先看看状态码 200代表下载成功,304代表页面未修改,500代表服务器超时,这些是一般的其他代码能够百度一下,对于不同的问题咱们要处理。
 
3、咱们要看蜘蛛常常爬取哪些页面,咱们要记载下来,剖析他们为什么会常常被蜘蛛爬取,然后剖分出蜘蛛所喜欢内容。
 
4、有时分咱们的途径不一致呈现带斜杠和不带斜杠的问题,蜘蛛会主动识别为301跳转到带斜杠的页面,这儿咱们就发现了查找引擎是能够判断咱们的目录的,所以咱们要对咱们的目录进行一致。
 
5、南阳网站优化咱们剖析日志剖析时刻长了,咱们能够看出蜘蛛的抓取规律,同一目录下面的单个文件的抓取频率距离和不同目录的抓取频率距离都能够看出来,这些抓取频率距离时刻是蜘蛛依据网站权重和网站更新频率来主动确定的。
 
6、蜘蛛对于咱们的页面的抓取是分等级的,是依据权重顺次递减的,一般次序为主页、目录页、内页。
 
7、不同IP的蜘蛛他们的抓取频率也是不相同的
 
四、检查网站日志的含义
 
1、检查拜访网站的用户IP、拜访页面、停留时刻、拜访日期等等
 
2、检查查找引擎蜘蛛都拜访网站那些页面,回来码是什么
 
3、找出404页面,找出出问题的其他页面,包括死连链接
 
4、发觉百度蜘蛛每天固定时刻来拜访网站,那么就能够在固定时刻更新网站。
 
5、拜访的页面,有参数(代表动态页面,或许中文URL),三个以上参数的途径不利于优化,那么就有必要写进robots.txt。
 
6、回来码是不正常的,就有必要处理,让页面康复正常拜访,不能康复正常拜访的死链接,建立txt文档,向百度站长渠道提交。
 
7、404页面能够被百度录入,那么就尽量去康复网站拜访
 
五、网站日志的剖析东西
 
爱站日志剖析东西
爱站日志剖析东西
 
南阳seo这儿给我们介绍一款十分好用的网站日志剖析东西,便是拉格好剖析东西http://www.loghao.com/,能够挑选导入日志后进行剖析,或许运用爱站等各类SEO东西,都能够直接剖析网站日志。

网站留言
Copyright © 2015-2025 河南春阳网络科技有限公司 版权所有 备案号:豫ICP备15036298号