在linux系统下,日志的作用是非常重要的,我们可以根据日志记录的内容来判断某服务的状态,用户访问的状况,日志还能帮助我们排查错误,查找我们系统的不安全因素等。当然,管理日志的方式很多,我们可以通过shell脚本实现管理。要实现更强大的日志管理功能,那我们不得不借助日志分析工具来实现,下面就介绍一下webalizer与awstat这两个日志分析工具的使用方法。
由于我的电脑上已经装了httpd服务,那我们以apache的日志分析为例,介绍这两个工具的使用方法:
webalizer 工具
下载地址:http://www.webalizer.org
Webalizer的特性:
1. 为是用C写的程序,所以其具有很高的运行效率。在主频为200Mhz的机器上,webalizer每秒钟可以分析10000条记录,所以分析一个40M大小的日志文件只需要15秒。
2. webalizer支持标准的一般日志文件格式(CommonLogfile Format);除此之外,也支持几种组合日志格式(Combined LogfileFormat)的变种,从而可以统计客户情况以及客户操作系统类型。并且现在webalizer已经可以支持wu-ftpd xferlog日志格式以及squid日志文件格式了。
3. 支持命令行配置以及配置文件。
4. 可以支持多种语言,也可以自己进行本地化工作。
5. 支持多种平台,比如UNIX、linux、NT, OS/2 和MacOS等。
Webalizer的具体使用:
要想使用一个软件工具,不进行安装你要使用什么东东呢,首先我们要进行安装,由于此软件是源码包,当然在安装前你要拆包的,然后进行什么的配置啊、编译啊、才能执行安装和使用的。
tar-jxvf webalizer-2.23-05-src.tar.bz2 -C /usr/local/src/将源码包拆解到/usr/local/src目录,此目录一般用于我们存放拆解的源码工具包,如果是内核的话一般要拆解到/usr/src目录(这也是linux下不成文的规定哦)
进入拆解后的目录进行相应的配置:
./configure--sysconfdir=/etc/webalizer.conf进行相应的配置,指明配置文件的存放目录。然后执行make编译和make install安装。默认情况下,我们的工具会安装在/usr/local目录下。
进入我们的配置文件的目录/etc/webalizer.conf/下:
由于,webalizer工具支持生成的图标可以基于web进行查看,而我们也开启了httpd服务,我们的站点为www.abc.com,因此我们可以通过web查看数据。由于要经常分析日志,我们将日志分析,做成系统的计划任务进行处理。我们将分析日志产生的数据和图片放置在/var/www/html/log目录下,我们首先创建这个目录:mkdir/var/www/html/log,然后我们去编写计划任务表:vim /etc/crontab
然后要去创建那个存放我们任务的目录喽:mkdir /etc/cron.weblog,接着切换到此目录,新建任务vim weblog
修改wblog脚本的权限为可执行
好了,到此我们只需要等结果来查看了,现在你可以以休息一下,去喝杯水了,五分钟后,你就可以看到相应的信息哦:
你还可以通过网页也进行查看哦:
Webalizer后面可以跟的参数的选项:
-h= 打印帮助信息
-v-V = 打印版本信息
-d= 打印附加调试信息
-Ftype = 日志格式类型. type= (clf | ftp | squid)
-i= 忽略历史文件
-p= 保留状态(递增模式)
-q= 忽略消息信息
-Q= 忽略所有信息
-Y= 忽略国家图形
-G= 忽略小时统计图形
-H= 忽略小时统计信息
-L= 忽略彩×××例
-lnum = 在图形中使用数字背景线
-mnum = 访问超时 (seconds)
-T= 打印时间信息
-cfile = 指定配置文件
-nname = 使用的主机名
-odir = 结果输出目录
-tname = 指定报告题目上的主机名
-aname = 隐藏用户代理名称
-rname = 隐藏访问链接
-sname = 隐藏客户
-uname = 隐藏URL
-xname = 使用文件扩展名
-Pname = 页面类型扩展名
-Iname = index别名
-Anum = 显示前几名客户类型
-Cnum = 显示前几名国家
-Rnum = 显示前几名链接
-Snum = 显示前几名客户
-Unum = 显示前几名URLs
-enum = 显示前几名访问页面
-Enum = 显示前几名不存在的页面
-X= 隐藏个别用户
-Dname = 使用dns缓存文件
-Nnum = DNS 进程数 (0=禁用dns)
Awstats工具
下载地址:http://awstats.sourceforge.net/
Awstats的介绍:
Awstats是一个优秀的基于Perl语言开发的WEB日志分析的分析工具,可以跨平台,界面友好,分析内容详尽,并且支持多语言的操作界面,是一个发展很快应用很广的日志分析工具。
安装环境:kunjiang安装awstats的环境是在rhrl 5.4,httpd-2.2.3基础上哦。当然喽,由于它的跨平台性它也支持freebsd和windows等平台,只要您的机器正确安装配置了perl环境,在linux下面可以使用光盘里面自带的rpm包安装perl,这里不多说。我使用的awstats是较新的版本awstats-6.6,当然你也可以下载最新的版本使用哦!
Awstats的安装过程:
1、perl环境的安装
使用rpm -qa |grep perl查看是否安装了perl相关的rpm包,如果没有安装的话,可以配置yum服务器(解决依赖关系,这里就不讲了,可以参考我的其他文章),使用yum install perl命令进行安装。
2、安装awstats
创建/usr/local/awstats目录,将awstats-6.6.tar.gz拆解到任意目录下,拷贝拆解目录下的所有内容到/usr/local/awstats目录下:
#mkdir /usr/local/awstats
#tar–zxvf ./awstats-6.6.tar.gz
#cp -R ./awstats-6.6/* /usr/local/awstats/
将包拆解并拷贝到/usr/local/awstas目录下,基本就完成了awstats的安装,然后就是配置
注意,您还需要自己手动创建两个目录,一个是/etc/awstats 和/var/lib/awstats 这两个目录都将在后面的配置中用到,一个用于存放站点日志分析的配置文件,一个用于存放日志数据信息。
3、配置awstats
awstats的配置使用awstats的配置工具/usr/local/awstats/tools/awstats_configure.pl 进行配置,首先用vi打开configure.pl文件,看看第一行有关perl运行环境的配置是否正确,然后运行下面的命令进行配置:
#/usr/local/awstats/tools/awstats_configure.pl
基本上整个配置过程很简单,回车和简单填写一些就结束了,awstats_configure.pl工具会自动修改您的apache配置,在apache的配置文件httpd.conf文件中自动修改下面信息
CustomLog/yourlogpath/yourlogfile common
为
CustomLog/yourlogpath/yourlogfile combined
这样的修改将让您的apache在记录日志的时候记录到更多可用于分析的内容,比如来访者的浏览器、来访者的身份等。
同时awstats_configure.pl还将自动在httpd.conf文件中添加下面内容:
Alias/awstatsclasses "/usr/local/awstats/wwwroot/classes/"
Alias/awstatscss "/usr/local/awstats/wwwroot/css/"
Alias/awstatsicons "/usr/local/awstats/wwwroot/icon/"
ScriptAlias/awstats/ "/usr/local/awstats/wwwroot/cgi-bin/"
OptionsNone
AllowOverrideNone
Orderallow,deny
Allowfrom all
这样配置awstats将可以通过web客户端访问。
另外,awstats_configure.pl还将根据安装过程中您的回答(要分析的网站名称)信息,自动生产/etc/awstats/awstats.yourdomain.conf文件,这里生成的文件是awstats.www.abc.com.conf文件,这个文件几乎不用修改,就可以了,如果您有些特殊的设置,可以自己修改该文件进行配置,我的配置文件里面最基本的几行配置内容如下:
LogFile="/var/log/httpd/access_log"
LogType=W
LogFormat=1
LogSeparator=""
SiteDomain="www.abc.com"
HostAliases="abc.comwww.abc.com 127.0.0.1 localhost"
DNSLookup=2
DirData="/var/lib/awstats"
DirCgi="/awstats"
DirIcons="/awstatsicons"
AllowToUpdateStatsFromBrowser=0
AllowFullYearView=2
.....
其他的都是默认设置,不用修改
这样,您就完成了awstas的安装和配置。
4、分析日志
完成awstats的配置以后,要让awstats开始第一次进行您的日志文件的分析,并存放awstats的数据库中,您需要运行下面的命令:
#/usr/local/awstats/wwwroot/cgi-bin/awstats.pl -update -config=www.abc.com
这样,awstats就完成了第一次数据的导入,今后您只需要定期再次运行此命令即可进行增量的更新!现在把这个命令加到了系统计划任务表crontab中,让每隔5分钟运行一次,直接修改/etc/crontab
然后再创建/etc/cron.awstats目录,切换至此目录,创建计划任务,vimawstats:
修改awstats的权限为可执行:
至此,我们已经完成了全部的安装和配置,重启一下apache服务,在浏览器内输入http://www.abc.com/awstats/awstats.pl?config=www.abc.com即可访问:
由于,此工具的功能比较多,具体生成的数据的含义,这里我就不再多说,大家慢慢研究吧!