前言
线上项目的日志在整个系统中的重要性不言而喻，以往日志往往成为发现错误用来查看错误信息的工具，但是这其实时间相对滞后了，如果能比使用者更早发现问题，就能更好的应对了，这次我们介绍使用lostash+kafka来监控错误日志发送邮件的功能。
环境信息
操作系统版本：CentOS release 6.5 (Final)
jdk版本：1.7.0-79
软件包准备
| 名称 | 版本 |
|---|---|
| logstash | 2.3.4 |
| kafka | 2.11-0.10.0.1 |
把准备好的包上传到服务器上，这里我放在/usr/local文件夹下，准备工作做好下面我们开始部署环境了~
kafka
- 解压
$ tar -zxvf kafka_2.11-0.10.0.1.tgz - 修改配置文件
$ cd kafka_2.11-0.10.0.1
$ vi config/server.properties
这里我们需要对以下的内容做修改
##broker.id必须唯一
broker.id=0
##当前机器IP地址(单引号不需要)
listeners = PLAINTEXT://'your.host.name':9092
##kafka数据存放目录
log.dirs=/usr/local/kafkalog
##zookeeper地址（这里我使用现有的zookeeper环境'192.168.1.120'，后面使用到的地方均需替换为自己的地址，如果没有需要自行搭建）
zookeeper.connect=192.168.1.120:2181
- 启动kafka
##放在后台运行
$ nohup sh bin/kafka-server-start.sh config/server.properties &
- 创建一个主题
##这里创建一个叫'kafkatopic'的主题
$ sh bin/kafka-topics.sh --create --topic kafkatopic --replication-factor 1 --partitions 1 --zookeeper 192.168.1.120:2181
&
- 测试是否ok
##启动生产者,localhost为kafka所在机器的IP，topic就是之前创建的
$ sh bin/kafka-console-producer.sh --broker-list localhost:9092 --sync --topic kafkatopic
##启动消费者,需要制定zookeeper以及topic
$ sh bin/kafka-console-consumer.sh --zookeeper 192.168.1.120:2181 --topic kafkatopic --from-beginning
在生产者窗口输入经典的hello world,在消费者窗口马上出现，这里就说明ok了！
logstash
logstash比较简单，不需要配置
- 同样解压包
$ tar -zxvf logstash-2.3.4.tar.gz
$ cd logstash-2.3.4 - 编写测试配置文件test.conf
##控制台输入
input { stdin { } }
##控制台按照rubydebug格式输出
output { stdout { codec => rubydebug } }
- 启动logstash
$ /usr/local/logstash-2.3.4/bin/logstash -f test.conf
等控制台打印出下面的内容，说明启动完毕
Settings: Default pipeline workers: 4
Logstash startup completed
- 测试
##在控制台输入hello world
hello world
##控制台输出
{
"message" => "hello world",
"@version" => "1",
"@timestamp" => "2016-09-13T02:23:01.783Z",
"host" => "gejunqingdeMacBook-Pro.local",
"tags" => [
[0] "_dateparsefailure"
]
}
- 编写正式的输出到kafka的配置文件kafka.conf
##在4560端口接收log4j发送的日志
input {
log4j {
type => "log4j-json"
port => 4560
}
}
##这里的localhost为kafka所在机器的IP，topic则是之前创建的
output {
kafka {
bootstrap_servers => "localhost:9092"
topic_id => "kafkatopic"
}
}
- 后台运行
$ nohup /usr/local/logstash-2.3.4/bin/logstash -f kafka.conf
结语
至此，logstash+kafka的配置已经结束，后面只需要将日志输入logtsash，使用应用接收kafka消息来发送错误邮件，这些后面再介绍~~