AWStats 6.4 final安装笔记

1.安装
# wget http://jaist.dl.sourceforge.net/sourceforge/awstats/awstats-6.4.tgz
# tar zxvf awstats-6.4.gz
# cp -r awstats-6.4 /usr/local/awstats
# chown -R root:root /usr/local/awstats
# chmod -R 755 /usr/local/awstats
# cd /usr/local/awstats/tools
# perl awstats_configure.pl

安装过程中会让你回答下列等问题
Do you want me to setup Apache to write 'combined' log files [y/N] ? y

Do you want me to build a new AWStats config/profile file (required if first install) [y/N] ? y

Your web site, virtual server or profile name:
> www.test.com

Directory path to store config file(s) (Enter for default):
> /usr/local/etc/awstats

安装过程会自动在httpd.conf文件中添加下面的配置信息
Alias /awstatsclasses "/usr/local/awstats/wwwroot/classes/"
Alias /awstatscss "/usr/local/awstats/wwwroot/css/"
Alias /awstatsicons "/usr/local/awstats/wwwroot/icon/"
ScriptAlias /awstats/ "/usr/local/awstats/wwwroot/cgi-bin/"
<Directory "/usr/local/awstats/wwwroot">
Options None
AllowOverride None
Order allow,deny
Allow from all
</Directory>

修改主机配置文件(/usr/local/etc/awstats/awstats.www.test.com.conf)，重点检查LogFile、LogType、LogFormat、 SiteDomainin、HostAlias这几个选项

对于在GNU/Linux上统计Apache日志只需修改：LogFile SiteDomain这2个选项
1. GNU/Linux LogFile="/var/log/httpd/access_log.%YYYY-24%MM-24%DD-24"
这个配置的意思是用24小时前的年份，月份，日期拼出的日志文件名；
2. SiteDomain="www.test.com"
站点的名称，缺省是空的，如果为空，AWStats将拒绝运行；
3. 对于统计IIS日志需要多修改一个：
LogFormat=2
缺省值是1：Apache日志，2是IIS日志
创建/usr/local/share/awstats目录用于统计数据输出
# mkdir -p /usr/local/share/awstats/http

修改/usr/local/apache/conf/httpd.conf配置文件
把
CustomLog logs/access_log combined
改成
CustomLog /var/log/httpd/mylog.log combined

我的配置文件部分内容如下
LogFile=" /var/log/httpd/mylog.log"
SiteDomain="www.test.com"
HostAliases="test.com www.test.com 192.168.0.3"
DirData="/usr/local/share/awstats/http"

其他需要注意的事项
AWStats缺省不过滤swf文件，会把.swf算成PageView，所以如果站点上swf文件主要是广告的话最好还是要过滤掉。


2.日志统计
统计主机日志
# cd /usr/local/awstats/wwwroot/cgi-bin/
# perl awstats.pl -config=www.test.com -update -lang=cn
你可以生成一个静态页面来浏览信息
# perl awstats.pl -config=www.test.com -output -staticlinks -lang=cn> awstats.www.test.com.html

定时统计主机日志
#update awstats
30 7 * * * /usr/local/awstats/wwwroot/cgi-bin/awstats.pl -config=www.test.com -update -lang=cn

测试
http://192.168.0.3/awstats/awstats.pl?config=www.test.com


3.虚拟主机日志统计
AWStats自带了一个批处理工具：tools/awstats_updateall.pl，可以批量地遍历一个目录下所有地配置文件并运行统计。因此剩下的工作就主要是日志的同步问题了。

针对多个站点，很多配置选项是重复的，如果每个配置文件都修改维护起来会很麻烦，AWStats从5.4版本开始提供了配置文件包含的功能，所以我们可以配置一个通用配置，比如：common.conf

然后其他站点的配置设置为：可以通过后面的选项覆盖和缺省不一致的配置。
awstats.bbs.chedong.conf
Include "chedong.common.conf"
LogFile "/path/to/bbs_log"
SiteName "bbs.chedong.com"

awstats.www.chedong.conf
Include "chedong.common.conf"
LogFile "/path/to/www_log"
SiteName "www.chedong.com"
HostAliases="chedong.com"

统计指标说明
* 参观者：按来访者不重复的IP统计，一个IP代表一个参观者；
* 参观次数：一个参观者可能1天之内参观多次（比如：上午一次，下午一次），所以按一定时间内（比如：1个小时），不重复的IP数统计，参观者的访问次数；
* 网页数：不包括图片，CSS, JavaScript文件等的纯页面访问总数，但如果一个页面使用了多个帧，每个帧都算一个页面请求；
* 文件数：来自浏览器客户端的文件请求总数，包括图片，CSS，JavaScript等，用户请求一个页面是，如果页面中包含图片等，所以对服务器会发出多次文件请求，文件数一般远远大于文件数；
* 字节：传给客户端的数据总流量；
* 来自REFERER中的数据：日志中的参考（REFERER）字段，记录了访问相应网页之前地址，因此如果用户是通过搜索引擎的搜索结果点击进入网站的，日志中就会有用户在相应搜索引擎的查询地址，这个地址中就可以通过解析将用户查询使用的关键词提取出来：
比如：
2003-03-26 15:43:58 123.123.123.123 - GET /index.html 200 192 HTTP/1.1 Mozilla/4.0+(compatible;+MSIE+5.01;+Windows+NT+5.0) http://www.google.com/search?q=chedong
AWStats在搜索引擎的关键短语和关键词统计方面的功能还是比较完整的：可以对全世界3百多种机器爬虫进行识别，并且可以识别大部分主流国际化搜索引擎和很多地区的本地语言搜索引擎。


4.plugin

安装GeoIP

需要
GeoIP C Library
Geo::IP Perl Module (faster, but requires C library)
Geo::IP::PurePerl Module (slower, but does not require C library)

C Library和Perl Module是一组，必须先编译安装C的，再编译安装perl，或者直接装PurePerl Module，我就是这种方式

安装GeoIP C Library
# wget http://www.maxmind.com/download/geoip/api/c/GeoIP-1.3.8.tar.gz
# tar zxvf GeoIP-1.3.8.tar.gz
# cd GeoIP-1.3.8
# ./configure; make; make install

安装 Geo::IP Perl Module
# wget http://www.maxmind.com/download/geoip/api/perl/Geo-IP-1.25.tar.gz
# tar zxvf Geo-IP-1.25.tar.gz
# cd Geo-IP-1.25
# perl Makefile.PL
# make
# make test (在AS4下通不过，放弃，改装PurePerl Module)
# make install

以上两步也可以这样安装
# perl -MCPAN -e shell
cpan> install Geo::IP

安装Geo::IP::PurePerl Module
# wget http://www.maxmind.com/download/geoip/api/pureperl/Geo-IP-PurePerl-1.14.tar.gz
# tar zxvf Geo-IP-PurePerl-1.14.tar.gz
# cd Geo-IP-PurePerl-1.14
# perl Makefile.PL
# make
# make test
# make install

也可以这样安装
# perl -MCPAN -e shell
cpan> install Geo::IP::PurePerl

修改/usr/local/etc/awstats/awstats.www.test.com.conf，取消下面这行的注释，启用此插件
LoadPlugin="geoip GEOIP_STANDARD"

更新GeoIP库
# cd /usr/local/share/GeoIP/
# wget http://www.maxmind.com/download/geoip/database/GeoIP.dat.gz
# gunzip GeoIP.dat.gz

定时更新GeoIP库
0 0 * * * root /usr/local/bin/geoipupdate -v

安装XWhois
# perl -MCPAN -e shell
cpan> install Net::XWhois
修改/usr/local/etc/awstats/awstats.www.test.com.conf，取消下面这行的注释，启用此插件
LoadPlugin="hostinfo"

安装decodeutfkeys
# perl -MCPAN -e shell
cpan> install URI::Escape
修改/usr/local/etc/awstats/awstats.www.test.com.conf，取消下面这行的注释，启用此插件
LoadPlugin="decodeutfkeys"

更新日志
/usr/local/awstats/wwwroot/cgi-bin/awstats.pl -config=www.test.com -update -lang=cn


5.分析其它日志

5.1.ftp日志

5.1.1.proftp

设置proftp
更改proftpd.conf文件，添加如下两行
LogFormat awstats "%t %h %u %m %f %s %b"
# 注意：在％号之间必须用tab键作为分隔符，不能用空格键
ExtendedLog /var/log/xferlog read,write awstats
# WARNING: ExtendedLog directive might need to be placed inside a virtual host context if you use them

然后关闭老的日志格式
TransferLog none
# WARNING: TransferLog directive might need to be placed inside a virtual host context if you use them.

想让你的设置生效，先停止proftp服务，删除旧的日志文件/var/log/xferlog，然后启动proftp服务。登陆ftp，下载一个文件，你的新日志文件会有新的一行，类似如下这个样子：
[01/Jan/2001:21:49:57 +0200] ftp.server.com user RETR /home/fileiget.txt 226 1499

设置AWStats
复制配置文件awstats.model.conf到/usr/local/etc/awstats目录下，并把文件名改成awstats.ftp.conf，修改这个新的配置文件
# mkdir -p /usr/local/share/awstats/ftp
# cp /usr/local/awstats/wwwroot/cgi-bin/awstats.model.conf /usr/local/etc/awstats/awstats.ftp.conf
# vi /usr/local/etc/awstats/awstats.ftp.interpack.cn.conf
LogFile="/var/log/xferlog"
LogType=F
LogFormat="%time1 %host %logname %method %url %code %bytesd"
LogSeparator="\t"
SiteDomain="ftp.test.com"
HostAliases="ftp.test.com 192.168.0.3"
DirData="/usr/local/share/awstats/ftp"
NotPageList=""
LevelForBrowsersDetection=0
LevelForOSDetection=0
LevelForRefererAnalyze=0
LevelForRobotsDetection=0
LevelForWormsDetection=0
LevelForSearchEnginesDetection=0
ShowLinksOnUrl=0
ShowMenu=1
ShowSummary=UVHB
ShowMonthStats=UVHB
ShowDaysOfMonthStats=HB
ShowDaysOfWeekStats=HB
ShowHoursStats=HB
ShowDomainsStats=HB
ShowHostsStats=HBL
ShowAuthenticatedUsers=HBL
ShowRobotsStats=0
ShowEMailSenders=0
ShowEMailReceivers=0
ShowSessionsStats=1
ShowPagesStats=PBEX
ShowFileTypesStats=HB
ShowFileSizesStats=0
ShowBrowsersStats=0
ShowOSStats=0
ShowOriginStats=0
ShowKeyphrasesStats=0
ShowKeywordsStats=0
ShowMiscStats=0
ShowHTTPErrorsStats=0
ShowSMTPErrorsStats=0

统计主机日志
# /usr/local/awstats/wwwroot/cgi-bin/awstats.pl -config=ftp.test.com -update -lang=cn
你可以生成一个静态页面来浏览信息
# perl awstats.pl -config=ftp.test.com -output -staticlinks -lang=cn> awstats.ftp.test.com.html

定时统计主机日志
#update awstats
30 7 * * * /usr/local/awstats/wwwroot/cgi-bin/awstats.pl -config=ftp.test.com -update -lang=cn

测试
http://192.168.0.3/awstats/awstats.pl?config=ftp.test.com


5.2.mail日志

适用于Postfix, Sendmail, QMail
复制配置文件awstats.model.conf到/usr/local/etc/awstats目录下，并把文件名改成awstats.mail.conf，修改这个新的配置文件
# mkdir -p /usr/local/share/awstats/mail
# cp /usr/local/awstats/wwwroot/cgi-bin/awstats.model.conf /usr/local/etc/awstats/awstats.mail.conf
# vi /usr/local/etc/awstats/awstats.mail.conf
For standard Postfix, Sendmail, MDaemon and standard QMail logfiles, set
LogFile="perl /usr/local/awstats/tools/maillogconvert.pl standard < /var/log/maillog |"
If the logfiles are compressed, they can be processed this way
LogFile="gzip -cd /var/log/maillog.0.gz | /usr/local/awstats/tools/maillogconvert.pl standard |"
And for VAdmin QMail logfiles (multi-host/virtualhost mail servers running vadmin software), set
LogFile="perl /usr/local/awstats/tools/maillogconvert.pl vadmin < /var/log/maillog |"
Then, whatever is you mail server, you must also change:
LogType=M
LogFormat="%time2 %email %email_r %host %host_r %method %url %code %bytesd"
SiteDomain="mail.test.com"
HostAliases="mail.test.com 192.168.0.3"
DirData="/usr/local/share/awstats/mail"
LevelForBrowsersDetection=0
LevelForOSDetection=0
LevelForRefererAnalyze=0
LevelForRobotsDetection=0
LevelForWormsDetection=0
LevelForSearchEnginesDetection=0
LevelForFileTypesDetection=0
ShowMenu=1
ShowSummary=HB
ShowMonthStats=HB
ShowDaysOfMonthStats=HB
ShowDaysOfWeekStats=HB
ShowHoursStats=HB
ShowDomainsStats=0
ShowHostsStats=HBL
ShowAuthenticatedUsers=0
ShowRobotsStats=0
ShowEMailSenders=HBML
ShowEMailReceivers=HBML
ShowSessionsStats=0
ShowPagesStats=0
ShowFileTypesStats=0
ShowFileSizesStats=0
ShowBrowsersStats=0
ShowOSStats=0
ShowOriginStats=0
ShowKeyphrasesStats=0
ShowKeywordsStats=0
ShowMiscStats=0
ShowHTTPErrorsStats=0
ShowSMTPErrorsStats=1

统计主机日志
# /usr/local/awstats/wwwroot/cgi-bin/awstats.pl -config=mail.test.com -update -lang=cn
你可以生成一个静态页面来浏览信息
# perl awstats.pl -config=ftp.test.com -output -staticlinks -lang=cn> awstats.mail.test.com.html

定时统计主机日志
#update awstats
30 7 * * * /usr/local/awstats/wwwroot/cgi-bin/awstats.pl -config=mail.test.com -update -lang=cn

测试
http://192.168.0.3/awstats/awstats.pl?config=mail.test.com