工具能提供的一般都是通用的内容，所以建议各位还是要自己学会用程序或者命令，以便分析出自己网站特定需求的内容，例如，我自己就通过滤爬虫抓取的RUL，提取产品的ID号，然后和网站的产品数据库连接起来，可以具体到哪个产品的页面被抓取我多少次，那些产品比较受爬虫欢迎，整个网站的产品被抓取情况，一览无余。
爬虫停留时间概念：
其实爬虫停留时间的概念与用户停留时间的概念是一致的，通过判断访问两个页面的时间差间隔，超过某个时间（预先设定时间）就算离开。从进入到离开之前的这段时间就计为爬虫这次访问停留时间。
什么是网站日志？
保存于网站空间内的一种文本文件，用来记录网站运行状态的各种数据，通常是在网站运行
的过程中，由服务器程序实时更新记录
日志分析与流量软件分析的差别：
从SEO的角度来说，两者的相同点：
日志分析和流量软件分析都能分析出网站各种流量、受访页情况、关键字数据等
不同点：
日志分析往往不能分析当前的流量数据；
常见的流量分析软件不能分析出搜索引擎爬虫数据；
常见的流量分析软件不会分析错误链接等数据；
网站日志研究对于SEO的作用：
了解搜索引擎抓取网页的问题：
分析搜索引擎爬虫访问情况，我们可以分析出搜索引擎收录网页的一些线索：
搜索引擎最近访问网站的频率是否正常？
搜索引擎比较喜欢访问哪部分网页？
搜索引擎很少访问哪部分的网页？
搜索引擎是否访问了一些我们禁止访问的内容？
了解网站内容及链接是否正常：
通过分析服务器返回的状态代码，可分析以下问题：
是否有死链接
是否有页面元素被误删，比如图片、css脚本等等
服务器是否曾出现暂时故障
是否有临时重定向
是否有权限控制导致搜索引擎无法抓取数据
网站日志研究对于网站安全的作用：
了解网站被盗链的情况
如果有第三方网站调用我们网站的图片、视频或者网页文件，将会浪费我们的服务器资源，
通过对日志的研究，可以很快发现这种问题。
可初步分析网站是否被黑客植入程序
如果黑客利用网站程序的一些BUG，通过植入代码的进行进行攻击破解的话，通过日志分析
就有可能找到这种痕迹。
可初步分析是否有程序在大量抓取数据
搜索引擎或者第三方网站如果使用采集程序，大量反复采集我方网站数据，既会对服务器性
能造成严重影响，而且会让我们的资料流转到其它网站上。
通过分析日志数据，可以让我们发现这种采集现象。
关于网站日志分析的总结：
一般地，网站流量主要采用流量统计软件来统计，而网站的故障分析、搜索引擎爬虫规律研
究则通过日志软件来分析；
如果我们能够持续对网站日志进行分析，就可以帮助我们在网站出现问题的短时间内了解到
问题出在什么地方，并尽快找到解决方案
从网站日志中应该可以分析更多的关于爬虫的信息。
相关推荐文章:
本站所有文章,如需转载,请注明:转自西宁网站建设[http://www.xc28.cn]
原文地址:http://www.xc28.cn/post/352.html
最新评论及回复