在数据为王的时代,日志管理是一个绕不开的话题,相应的开源软件有不少。
基于主机的管理一般需要收集服务器的日志信息用于及时发现错误,处理故障。
搭建linux下的集中日志服务器的程序一般可以用syslog,rsyslog,syslog-ng,还有scribe和fluentd等。
基本每一种方式都是服务器端和客户端的模式。
一般syslog,syslog-ng,rsyslog用于收集系统日志,scribe和fluentd用于收集业务日志,rsyslog和syslog-ng也可以收集业务日志,并可定制和过滤、筛选。
LogAnalyzer和LogZilla是分析系统日志,并用web界面展示的的工具,一般只用在syslog,syslog-ng,rsyslog日志系统中。
目前通常日志管理方法:
单机日志管理:利用开源日志文件管理分析工具,无论是iis、apache、nginx、tomcat还是系统日志、应用程序日志、邮件日志和其他软件日志,此类软件很多就不一一枚举了,具体可以去oschina、sf、open-open和github等开源网站上去搜一大堆。
集群或者多业务机器:
方案一:rsyslog+mysql+phplogcon
方案二:Rsyslog+LogAnalyzer+MySQL
方案三:热门的三件套=Logstash+ElasticSearch+Kibana
方案四:利用网上大数据库可视化等平台型日志分析工具
方案五:利用国内网知名公司的例如谷歌、Facebook、推特、百度和阿里等开源的日志分析软件直接使用
【参考资料】
CentOS 6.5下利用Rsyslog+LogAnalyzer+MySQL部署日志服务器 http://www.mamicode.com/info-detail-1165648.html
rsyslog安装配置 - 杜雪峰的个人页面 - 开源中国社区 http://my.oschina.net/duxuefeng/blog/317570
跟我学Rsyslog | 火丁笔记 http://huoding.com/2014/05/09/347
集中日志服务器Rsyslog | 人无完人,尽力改造! http://www.gaizaoren.org/archives/408
日志易: 日志分析更容易 - 日志易 https://www.rizhiyi.com/
5款开源web日志分析程序 http://blog.163.com/xiaohui_1123@126/blog/static/3980524020105283635581/
开源日志系统比较 - clouderyu的专栏 - 博客频道 - CSDN.NET http://blog.csdn.net/clouderyu/article/details/6543175
大家都是如何收集系统日志并进行分析的? - 日志分析 - 知乎 http://www.zhihu.com/question/21427267
开源实时日志分析ELK平台部署 - 推酷 http://www.tuicool.com/articles/QFvARfr
用Kibana和logstash快速搭建实时日志查询、收集与分析系统 http://storysky.blog.51cto.com/628458/1158707/
首页 - ALEIYE http://www.aleiye.cn/
【友盟+】全球领先的第三方全域大数据服务提供商 http://www.umeng.com/
Windows日志分析工具_Syslog日志分析软件_系统日志审计系统 - 卓豪EventLog Analyzer http://www.zohocorp.com.cn/manageengine/products/eventlog/index.html