老域名交易

一次偶然的机会，听了龙哥的录音，发现讲的非常棒，而这些又是免费的录音，后知估计下载的人不会太多，所以这就是“免费的就是最贵的”，很多人可能觉得免费培训录音就跟其他泛泛的培训似的。其实错了，这个让我把龙哥讲课的录音都下载了，这段时间在学习，今天就和大家分享下日志分析。记住，数据分析的目的是进行调整策略和进一步提高，而不是为了分析而分析。

在分析日志的时候需要用到的工具：光年日志分析工具、web log explorer、MSSQL。还有一点，做好数据的分析excel是必备的，最近在看阿莫推荐的一本书，写的挺好的《你早该这么玩excel》，推荐大家看看，基础的应用还是要会的。

我们应该从哪几个维度来进行数据的整理分析呢？我们从基础信息、目录抓取、时间段抓取、IP抓取、状态码几点分布给大家讲解。

第一、基础信息

我们从日志中能够获取哪里基础信息呢？总抓取量、停留时间（h）及访问次数这三个基础信息，可以从光年日志分析工具中统计出来。然后，通过这三个基础信息算出：平均每次抓取页数、单页抓取停留时间。然后用我们的MSSQL提取蜘蛛唯一抓取量，根据以上的数据算出爬虫重复抓取率。

平均每次抓取页数=总抓取量/访问次数

单页抓取停留时间=停留时间*3600/总抓取量

爬虫重复抓取率=100%—唯一抓取量/总抓取量

而以上这些数据，我们需要统计出一段时间的数据，看这个时间的整体趋势是怎么样的，这样才能够发现问题，才能够调整网站的整体策略。下面就以一站点上个月的日志基础信息为例。

这个基础表是上个月的日志的基本信息，我们需要看它的整体趋势来调整，哪些地方需要加强。

从这个整体走势来看出，爬虫的抓取总量整体是在下降的，这个就需要我们进行一些相应的调整。

整体来看，网站重复抓取率是有点上升的，这个就需要一些细节，多一些为抓取的入口和使用一些robots及nofollow技巧。

爬虫单页的停留的时间，国平老师曾经写过那篇网页加载速度是怎么影响seo流量的文章，大家应该看过吧。提高网页加载速度，减少爬虫单页停留时间，可以为爬虫的总抓取做出贡献，进而增加网站收录，从而提高网站整体流量。在16号至20号左右服务器出现一些问题，之后进行调整后，速度明显变快，单页停留时间也相应的下来了。

而对此进行相应调整如下：

从本月整理来看，爬虫的抓取量是下降的，重复抓取率是上升的。综合分析，需要从站内链接和站外的链接进行调整。站内的链接尽量的带锚文本，如果不能带的话，可以推荐其他页面的超链接，让蜘蛛尽可能的深层次的抓取。站外链接的话，需要多方面的发布。目前平台太少了，如果深圳新闻网、商国互联等站点出现一丝差错的话，我们站点将受到严重影响。站外平台要广，发布的链接要多样话，不能直发首页的，栏目及文章页面需要加大力度。目前，来讲站外平台太少，将近10w的外部链接，集中在几个平台上。

2012-10-10 14:45 来源：光年论坛 编辑：sunsun【纠错】1人评论
A-A+
怎么开淘宝店 网站优化方法 创业如何获得投资 小米note顶配版评测 最新LOL活动

一次偶然的机会，听了龙哥的录音，发现讲的非常棒，而这些又是免费的录音，后知估计下载的人不会太多，所以这就是“免费的就是最贵的”，很多人可能觉得免费培训录音就跟其他泛泛的培训似的。其实错了，这个让我把龙哥讲课的录音都下载了，这段时间在学习，今天就和大家分享下日志分析。记住，数据分析的目的是进行调整策略和进一步提高，而不是为了分析而分析。

在分析日志的时候需要用到的工具：光年日志分析工具、web log explorer、MSSQL。还有一点，做好数据的分析excel是必备的，最近在看阿莫推荐的一本书，写的挺好的《你早该这么玩excel》，推荐大家看看，基础的应用还是要会的。

我们应该从哪几个维度来进行数据的整理分析呢？我们从基础信息、目录抓取、时间段抓取、IP抓取、状态码几点分布给大家讲解。

第一、基础信息

我们从日志中能够获取哪里基础信息呢？总抓取量、停留时间（h）及访问次数这三个基础信息，可以从光年日志分析工具中统计出来。然后，通过这三个基础信息算出：平均每次抓取页数、单页抓取停留时间。然后用我们的MSSQL提取蜘蛛唯一抓取量，根据以上的数据算出爬虫重复抓取率。

平均每次抓取页数=总抓取量/访问次数

单页抓取停留时间=停留时间*3600/总抓取量

爬虫重复抓取率=100%—唯一抓取量/总抓取量

而以上这些数据，我们需要统计出一段时间的数据，看这个时间的整体趋势是怎么样的，这样才能够发现问题，才能够调整网站的整体策略。下面就以一站点上个月的日志基础信息为例。

这个基础表是上个月的日志的基本信息，我们需要看它的整体趋势来调整，哪些地方需要加强。

从这个整体走势来看出，爬虫的抓取总量整体是在下降的，这个就需要我们进行一些相应的调整。

整体来看，网站重复抓取率是有点上升的，这个就需要一些细节，多一些为抓取的入口和使用一些robots及nofollow技巧。

爬虫单页的停留的时间，国平老师曾经写过那篇网页加载速度是怎么影响seo流量的文章，大家应该看过吧。提高网页加载速度，减少爬虫单页停留时间，可以为爬虫的总抓取做出贡献，进而增加网站收录，从而提高网站整体流量。在16号至20号左右服务器出现一些问题，之后进行调整后，速度明显变快，单页停留时间也相应的下来了。

而对此进行相应调整如下：

从本月整理来看，爬虫的抓取量是下降的，重复抓取率是上升的。综合分析，需要从站内链接和站外的链接进行调整。站内的链接尽量的带锚文本，如果不能带的话，可以推荐其他页面的超链接，让蜘蛛尽可能的深层次的抓取。站外链接的话，需要多方面的发布。目前平台太少了，如果深圳新闻网、商国互联等站点出现一丝差错的话，我们站点将受到严重影响。站外平台要广，发布的链接要多样话，不能直发首页的，栏目及文章页面需要加大力度。目前，来讲站外平台太少，将近10w的外部链接，集中在几个平台上。