LogStash日志分析系统

简介

通常日志管理是逐渐崩溃的——当日志对于人们最重要的时候,也就是出现问题的时候,这个渐进的过程就开始了。
日志管理一般会经历一下3个阶段:

  1. 初级管理员将通过一些传统工具(如cat、tail、sed、awk、perl以及grep)对日志进行检查,但它的适用范围仅限于少量的主机和日志文件类型;

  2. 考虑到现实中的可扩展性问题,日志管理也会逐步进化,使用如rsyslog和syslog-ng这样的工具进行集中化的管理;

  3. 当日志信息越来越大的时候,从快速增长的日志数据流中提取出所需的信息,并将其与其他相关联的事件进行关联,将变得越加困难,此时LogStash就提供了一个很好的解决方案

LogStash的优势:

  1. 对日志数据更好的语法分析功能;

  2. 更加灵活的日志存储方式

  3. 附带搜索和目录功能

  4. 易于安装、可扩展、性能良好等

设计及架构

LogStash 由JRuby语言编写,基于消息(message-based)的简单架构,并运行在Java虚拟机(JVM)上。不同于分离的代理端(agent)或主 机端(server),LogStash可配置单一的代理端(agent)与其它开源软件结合,以实现不同的功能。

在LogStash的生态系统中,主要分为四大组件:

  1. Shipper:发送事件(events)至LogStash;通常,远程代理端(agent)只需要运行这个组件即可;

  2. Broker and Indexer:接收并索引化事件;

  3. Search and Storage:允许对事件进行搜索和存储;

  4. Web Interface:基于Web的展示界面

正是由于以上组件在LogStash架构中可独立部署,才提供了更好的集群扩展性。

在大多数情况下,LogStash主机可分为两大类:

  1. 代理主机(agent host):作为事件的传递者(shipper),将各种日志数据发送至中心主机;只需运行Logstash 代理(agent)程序;

  2. 中心主机(central host):可运行包括中间转发器(Broker)、索引器(Indexer)、搜索和存储器(Search and Storage)、Web界面端(Web Interface)在内的各个组件,以实现对日志数据的接收、处理和存储。

部署

基础环境

um install java-1.7.0-openjdk

java -version # 保证java版本为1.7

 

部署LogStash

# 下载

wget https://download.elasticsearch.org/logstash/logstash/logstash-1.3.1-flatjar.jar -O logstash.jar 

# 启动

java -jar logstash.jar agent -v -f shipper.conf # 启动shipper

java -jar logstash.jar agent -v -f indexer.conf # 启动indexer

 

部署Redis

# 安装

yum install redis-server

# 启动

/etc/init.d/redis-server start

# 测试

$ redis-cli -h 192.168.12.24

redis 192.168.12.24:6379> PING

PONG

 

部署Elasticsearch

# 下载

wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-0.90.8.noarch.rpm

# 安装

rpm -ivh elasticsearch-0.90.8.noarch.rpm 

# 启动

/etc/init.d/elasticsearch status

启动Kibana

# 安装

java -jar logstash.jar web # LogStash 1.3.1自带Kibana

# 查看

http://192.168.12.24:9292

Logstash配置文件与插件

input {

    stdin { }

    file {

        type => "syslog"

        path => ["/var/log/secure", "/var/log/messages"]

        exclude => ["*.gz", "shipper.log"]

    }

    zeromq {

      address => ["tcp://192.168.8.145:8889"]

      mode => "client"

      type => "zmq-input"

      topic => "weblog"

      topology => "pubsub"

      codec => "json"

    }

  }

  filter {

    mutate {

        gsub => [ "message","APPS weblog",""]

        gsub => [ "message","{",""]

        gsub => [ "message","}",""]

    }

  }

  output {

    stdout { debug => true debug_format => "json"}

    

    elasticsearch {

      cluster => "logstash"

      codec => "json"

    }

}

 

日志类别与处理方法

  1. Apache日志:自定义apache输出日志格式,json输出,无需filter参与

  2. Postfix日志:无法自定义,需使用如grok等filter进行过滤

  3. Tomcat日志:需将多行日志合并至一个事件中,并排除空白行

集群扩展

扩展架构

注意事项

Redis:部署多台,仅提供高可用作用,无分担负载作用,可使用ZeroMQ代替

ElasticSearch:

# 检测节点状态:

    curl -XGET 'http://127.0.0.1:9200/_cluster/health?pretty=true'

            green status:所有shard被分配,且运行正常

            yellow status:只有主shard被分配,如集群正在节点间复制数据时

            red status:存在未被分配的shard

# 集群监控:

    Paramedic工具:

            安装:/usr/share/elasticsearch/bin/plugin -install karmi/elasticsearch-paramedic

            查看:http://log.okooo.net:9200/_plugin/paramedic/index.html

    Bigdesk工具:

            安装:/usr/share/elasticsearch/bin/plugin -install lukas-vlcek/bigdesk

            查看:http://log.okooo.net:9200/_plugin/bigdesk/index.html

            

# 数据保留策略:

            1.LogStash默认为每一天创建1个index,可手动删除index

                curl -XDELETE http://127.0.0.1:9200/logstash-2013.12.19

                shell优化脚本:https://github.com/cnf/logstash-tools/blob/master/elasticsearch/clean-elasticsearch.sh

            2.优化index:

                curl -XPOST 'http://127.0.0.1:9200/logstash-2013.12.19/_optimize'

                curl -XPOST 'http://127.0.0.1:9200/_optimize' # 优化所有index

                curl 'http://127.0.0.1:9200/logstash-2013.12.19/_stats?clear=true&store=true&pretty=true' #查看index的大小,index过多会影响优化耗时

            3.默认index数据目录:/var/lib/elasticsearch/logstash 

参考资料

LogStash官网:http://www.logstash.net/

Elasticsearch官网:http://www.elasticsearch.org/

Kibana查询语法:http://lucene.apache.org/core/3_6_1/queryparsersyntax.html

你可能感兴趣的:(logstash)