ELK+Kafka+Filebeat搭建日志系统
1、组件介绍
Elasticsearch：
是一个基于Lucene的搜索服务器。提供搜集、分析、存储数据三大功能。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。
Logstash:
主要是用来日志的收集、分析、过滤日志的工具。用于管理日志和事件的工具，你可以用它去收集日志、转换日志、解析日志并将他们作为数据提供给其它模块调用，例如搜索、存储等。
Kibana:
是一个优秀的前端日志展示框架，它可以非常详细的将日志转化为各种图表，为用户提供强大的数据可视化支持,它能够搜索、展示存储在 Elasticsearch 中索引数据。使用它可以很方便的用图表、表格、地图展示和分析数据。
Kafka：
数据缓冲队列。作为消息队列解耦了处理过程，同时提高了可扩展性。具有峰值处理能力，使用消息队列能够使关键组件顶住突发的访问压力，而不会因为突发的超负荷的请求而完全崩溃。
-
1.发布和订阅记录流，类似于消息队列或企业消息传递系统。
-
2.以容错持久的方式存储记录流。
-
3.处理记录发生的流。
Filebeat:
隶属于Beats,轻量级数据收集引擎。基于原先 Logstash-fowarder 的源码改造出来。换句话说：Filebeat就是新版的 Logstash-fowarder，也会是 ELK Stack 在 Agent 的第一选择,目前Beats包含四种工具：
-
1.Packetbeat（搜集网络流量数据）
-
2.Metricbeat（搜集系统、进程和文件系统级别的 CPU 和内存使用情况等数据。通过从操作系统和服务收集指标，帮助您监控服务器及其托管的服务。）
-
3.Filebeat（搜集文件数据）
-
4.Winlogbeat（搜集 Windows 事件日志数据）
2.服务器
| 服务 | IP |
| Elasticsearch+zookeeper+kafka | 192.168.182.101 |
| Elasticsearch+zookeeper+kafka | 192.168.182.102 |
| Elasticsearch+zookeeper+kafka | 192.168.182.103 |
| logstash | 192.168.182.104 |
| filebeat+kibana | 192.168.182.105 |
实验环境，关闭防火墙和selinux
3、版本说明
Elasticsearch: 6.5.4
Logstash: 6.5.4
Kibana: 6.5.4
Kafka: 2.11-2
Filebeat: 6.5.4
相应的版本最好下载对应的插件
4、搭建架构
5、实施部署
ES集群
系统类型：Centos7.6
节点IP：
| 192.168.182.101 |
| 192.168.182.102 |
| 192.168.182.103 |
软件版本：jdk-8u271-linux-x64.tar.gz、elasticsearch-6.5.4.tar.gz
示例节点：192.168.182.101 ABC
1.安装配置jdk8,ES运行依赖jdk8
# tar zxvf /usr/local/package/jdk-8u271-linux-x64.tar.gz -C /usr/local/
# vim /etc/profile.d/java.sh //配置环境变量
JAVA_HOME=/usr/local/jdk1.8.0_271
PATH=$PATH:$JAVA_HOME/bin
export JAVA_HOME PATH
# source /etc/profile.d/java.sh //使环境变量生效
# java -version //测试是否生效
2、安装配置ES
（1）创建运行ES的普通用户
# useradd elsearch (useradd ela)
# echo "******" | passwd --stdin "elsearch"
（2）安装配置ES
# tar zxvf /usr/local/package/elasticsearch-6.5.4.tar.gz -C /usr/local/
# cp /usr/local/elasticsearch/elasticsearch.yml /usr/local/elasticsearch/elasticsearch.yml.bak //备份
#vim /usr/local/elasticsearch/elasticsearch.yml
cluster.name: gz01-elk
node.name: elk01
node.master: true
node.data: true
path.data: /data/elasticsearch/data
path.logs: /data/elasticsearch/logs
bootstrap.memory_lock: true
bootstrap.system_call_filter: false
network.host: 0.0.0.0
http.port: 9200
#discovery.zen.ping.unicast.hosts: ["192.168.182.102", "192.168.182.103"]
#discovery.zen.minimum_master_nodes: 2
#discovery.zen.ping_timeout: 150s
#discovery.zen.fd.ping_retries: 10
#client.transport.ping_timeout: 60s
http.cors.enabled: true
http.cors.allow-origin: "*"配置项含义：
cluster.name 集群名称，各节点配成相同的集群名称。
node.name 节点名称，各节点配置不同。
node.master 指示某个节点是否符合成为主节点的条件。
node.data 指示节点是否为数据节点。数据节点包含并管理索引的一部分。
path.data 数据存储目录。
path.logs 日志存储目录。
bootstrap.memory_lock 内存锁定，是否禁用交换。
bootstrap.system_call_filter 系统调用过滤器。
network.host 绑定节点IP。
http.port rest api端口。
discovery.zen.ping.unicast.hosts 提供其他 Elasticsearch 服务节点的单点广播发现功能。
discovery.zen.minimum_master_nodes 集群中可工作的具有Master节点资格的最小数量，官方的推荐值是(N/2)+1，其中N是具有master资格的节点的数量。
discovery.zen.ping_timeout 节点在发现过程中的等待时间。
discovery.zen.fd.ping_retries 节点发现重试次数。
http.cors.enabled 是否允许跨源 REST 请求，用于允许head插件访问ES。
http.cors.allow-origin 允许的源地址。
设置JVM堆大小
# sed -i 's/-Xms1g/-Xms2g/' /usr/local/elasticsearch-6.5.4/config/jvm.options
# sed -i 's/-Xmx1g/-Xmx2g/' /usr/local/elasticsearch-6.5.4/config/jvm.options
创建ES数据及日志存储目录
# mkdir -p /data/elasticsearch/data
# mkdir -p /data/elasticsearch/logs修改安装目录及存储目录权限
# chown -R ela:ela /data/elasticsearch
# chown -R ela:ela /usr/local/elasticsearch-6.5.4系统优化
# vim /etc/security/limits.conf
* - nofile 65536
* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096增加最大内存映射数
vim /etc/sysctl.conf
vm.max_map_count=262144
vm.swappiness=0启动:
# su - ela -c "cd /usr/local/elasticsearch-6.5.4 && nohup bin/elasticsearch &"
主节点部署head插件
1. 安装node环境
# wget https://nodejs.org/dist/v10.15.0/node-v10.15.0-linux-x64.tar.xz
# tar -xvf node-v10.15.0-linux-x64.tar.xz -C /usr/local/
# vim /etc/profile.d/node.sh
NODE_HOME=/usr/local/node-v10.15.0-linux-x64
PATH=$NODE_HOME/bin:$PATH
export NODE_HOME PATH
# source /etc/profile.d/node.sh
# node --version
2. 下载head插件
# wget https://github.com/mobz/elasticsearch-head/archive/master.zip
# unzip –d /usr/local elasticsearch-head-master.zip
3. 安装grunt
# cd /usr/local/elasticsearch-head-master
# npm install -g grunt-cli //无法执行请用下条命令
# npm install -g grunt-cli --registry=https://registry.npm.taobao.org //淘宝npm加速
# grunt --version #检查grunt版本号
修改head源码
# vim /usr/local/elasticsearch-head-master/Gruntfile.js [99左右]
connect: {
server: {
options: {
port: 9100,
base: '.',
keepalive: true,
hostname: '*'
}
}
}
# vim /usr/local/elasticsearch-head-master/_site/app.js [4374左右]
4388 this.base_uri = this.config.base_uri || this.prefs.get("app-base_uri") || "http://192.168.182.101:9200";
下载head必要的文件
# wget https://github.com/Medium/phantomjs/releases/download/v2.1.1/phantomjs-2.1.1-linux-x86_64.tar.bz2
# yum -y install bzip2
# tar -jxf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/
# yum install fontconfig freetype libfreetype.so.6 libfontconfig.so.1 libstdc++.so.6# vim /etc/profile.d/phantomjs.sh
PH_HOME=/usr/local/phantomjs-2.1.1-linux-x86_64
PATH=$PATH:$PH_HOME/bin
export PH_HOME PATH
运行head
# cd /usr/local/elasticsearch-head-master/
# npm install
# nohup grunt server &
如果npm install失败，导致无法安装， 则用nginx代理 /usr/local/elasticsearch-head-master/_site 作为nginx的根路径 ,注意 nginx 的启动用户改为 root
http://ip】
部署kafaka
1.安装配置jdk8
（1）Kafka、Zookeeper（简称：ZK）运行依赖jdk8
tar zxvf /usr/local/package/jdk-8u121-linux-x64.tar.gz -C /usr/local/ echo ' JAVA_HOME=/usr/local/jdk1.8.0_121 PATH=$JAVA_HOME/bin:$PATH export JAVA_HOME PATH ' >>/etc/profile./java.sh source /etc/profile.d/java.sh2.安装配置ZK
Kafka运行依赖ZK，Kafka官网提供的tar包中，已经包含了ZK，这里不再额下载ZK程序。
（1）安装
tar zxvf /usr/local/package/kafka_2.11-2.0.0.tgz -C /usr/local/
（2）配置
# sed -i 's/^[^#]/#&/' /usr/local/kafka_2.11-2.0.0/config/zookeeper.properties # /usr/local/kafka_2.11-2.0.0/config/zookeeper.properties dataDir=/opt/data/zookeeper/data dataLogDir=/opt/data/zookeeper/logs clientPort=2181 tickTime=2000 initLimit=20 syncLimit=10 server.1=192.168.182.101:2888:3888 //kafka集群IP:Port server.2=192.168.182.102:2888:3888 server.3=192.168.182.103:2888:3888 配置项含义： dataDir ZK数据存放目录。 dataLogDir ZK日志存放目录。 clientPort 客户端连接ZK服务的端口。 tickTime ZK服务器之间或客户端与服务器之间维持心跳的时间间隔。 initLimit 允许follower(相对于Leaderer言的“客户端”)连接并同步到Leader的初始化连接时间，以tickTime为单位。当初始化连接时间超过该值，则表示连接失败。 syncLimit Leader与Follower之间发送消息时，请求和应答时间长度。如果follower在设置时间内不能与leader通信，那么此follower将会被丢弃。 server.1=192.168.182.101:2888:3888 2888是follower与leader交换信息的端口，3888是当leader挂了时用来执行选举时服务器相互通信的端口。#创建data、log目录mkdir -p /opt/data/zookeeper/{data,logs}
#创建myid文件echo 1 > /opt/data/zookeeper/data/myid
3.配置Kafka
（1）配置
# sed -i 's/^[^#]/#&/' /usr/local/kafka_2.11-2.0.0/config/server.properties # echo ' broker.id=1 listeners=PLAINTEXT://192.168.182.101:9092 num.network.threads=3 num.io.threads=8 socket.send.buffer.bytes=102400 socket.receive.buffer.bytes=102400 socket.request.max.bytes=104857600 log.dirs=/opt/data/kafka/logs num.partitions=6 num.recovery.threads.per.data.dir=1 offsets.topic.replication.factor=2 transaction.state.log.replication.factor=1 transaction.state.log.min.isr=1 log.retention.hours=168 log.segment.bytes=536870912 log.retention.check.interval.ms=300000 zookeeper.connect=192.168.182.101:2181,192.168.182.102:2181,192.168.182.103:2181 zookeeper.connection.timeout.ms=6000 group.initial.rebalance.delay.ms=0 ' >>/usr/local/kafka_2.11-2.0.0/config/server.properties配置项含义：
broker.id 每个server需要单独配置broker id，如果不配置系统会自动配置。 listeners 监听地址，格式PLAINTEXT://IP:端口。 num.network.threads 接收和发送网络信息的线程数。 num.io.threads 服务器用于处理请求的线程数，其中可能包括磁盘I/O。 socket.send.buffer.bytes 套接字服务器使用的发送缓冲区(SO_SNDBUF) socket.receive.buffer.bytes 套接字服务器使用的接收缓冲区(SO_RCVBUF) socket.request.max.bytes 套接字服务器将接受的请求的最大大小(防止OOM) log.dirs 日志文件目录。 num.partitions partition数量。 num.recovery.threads.per.data.dir 在启动时恢复日志、关闭时刷盘日志每个数据目录的线程的数量，默认1。 offsets.topic.replication.factor 偏移量话题的复制因子（设置更高保证可用），为了保证有效的复制，偏移话题的复制因子是可配置的，在偏移话题的第一次请求的时候可用的broker的数量至少为复制因子的大小，否则要么话题创建失败，要么复制因子取可用broker的数量和配置复制因子的最小值。 log.retention.hours 日志文件删除之前保留的时间（单位小时），默认168 log.segment.bytes 单个日志文件的大小，默认1073741824 log.retention.check.interval.ms 检查日志段以查看是否可以根据保留策略删除它们的时间间隔。 zookeeper.connect ZK主机地址，如果zookeeper是集群则以逗号隔开。 zookeeper.connection.timeout.ms 连接到Zookeeper的超时时间。#创建log目录mkdir -p /opt/data/kafka/logs
4、其他节点配置
只需把配置好的安装包直接分发到其他节点，然后修改ZK的myid，Kafka的broker.id和listeners就可以了。
5、启动、验证ZK集群
（1）启动
在三个节点依次执行：
cd /usr/local/kafka_2.11-2.1.0/ nohup bin/zookeeper-server-start.sh config/zookeeper.properties &（2）验证
查看ZK配置
# echo conf | nc 127.0.0.1 2181 clientPort=2181 dataDir=/opt/data/zookeeper/data/version-2 dataLogDir=/opt/data/zookeeper/logs/version-2 tickTime=2000 maxClientCnxns=60 minSessionTimeout=4000 maxSessionTimeout=40000 serverId=1 initLimit=20 syncLimit=10 electionAlg=3 electionPort=3888 quorumPort=2888 peerType=0查看ZK状态
# echo stat|nc 127.0.0.1 2181 Zookeeper version: 3.4.13-2d71af4dbe22557fda74f9a9b4309b15a7487f03, built on 06/29/2018 00:39 GMT Clients: /127.0.0.1:51876[0](queued=0,recved=1,sent=0) Latency min/avg/max: 0/0/0 Received: 2 Sent: 1 Connections: 1 Outstanding: 0 Zxid: 0x0 Mode: follower Node count: 4查看端口
# lsof -i:2181 COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME java 15002 root 98u IPv4 43385 0t0 TCP *:eforward (LISTEN)6、启动、验证Kafka
（1）启动
在三个节点依次执行：
cd /usr/local/kafka_2.11-2.1.0/ nohup bin/kafka-server-start.sh config/server.properties &（2）验证
在172.16.244.31上创建topic
# bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic testtopic Created topic "testtopic".查询192.168.182.101上的topic
# bin/kafka-topics.sh --zookeeper 192.168.182.101:2181 --list testtopic查询192.168.182.102上的topic
# bin/kafka-topics.sh --zookeeper 192.168.182.102:2181 --list testtopic查询192.168.182.103上的topic
# bin/kafka-topics.sh --zookeeper 192.168.182.101:2181 --list testtopic模拟消息生产和消费发送消息到192.168.182.101
# bin/kafka-console-producer.sh --broker-list 172.16.244.31:9092 --topic testtopic >Hello World!从192.168.182.102接受消息
# bin/kafka-console-consumer.sh --bootstrap-server 172.16.244.32:9092 --topic testtopic --from-beginning Hello World!7、监控 Kafka Manager
Kafka-manager 是 Yahoo 公司开源的集群管理工具。
可以在 Github 上下载安装：GitHub - yahoo/CMAK: CMAK is a tool for managing Apache Kafka clusters
部署 logstash 6.5.4（192.168.182.104）
1. 部署jdk环境变量
................
2.部署 logstash 6.5.4
# tar xvzf logstash-6.5.4.tar.gz -C /usr/local/
3.配置logstash
# cd /usr/local/logstash-6.5.4
# vim logstash.yml
input {
file {
path => ["/var/log/nginx/access.log"]
type => "nginx"
start_position => "beginning"
}
}
filter {
grok {
match => { "message" => "%{COMBINEDAPACHELOG} %{QS:x_forwarded_for}"}
}
date {
match => [ "timestamp" , "dd/MMM/YYYY:HH:mm:ss Z" ]
}
# geoip {
# # source => "clientip"
# # }
}
output {
if [type] == 'nginx' {
elasticsearch {
hosts => ["192.168.182.101","192.168.182.102","192.168.182.103"]
index => 'nginx-%{+YYYY-MM-dd}'
}
}
}启动：./bin/logstash -f logstash.yml --config.reload.automatic
Kibana部署 （192.168.182.105）
1.安装
# tar zxf kibana-6.5.4-linux-x86_64.tar.gz -C /usr/local/
2.配置
# /usr/local/kibana-6.5.4-linux-x86_64/config/kibana.yml
server.port: 5601
server.host: "192.168.182.105"
elasticsearch.url: "http://192.168.182.105:9200"
kibana.index: ".kibana"
配置项含义：
server.port kibana服务端口，默认5601
server.host kibana主机IP地址，默认localhost
elasticsearch.url 用来做查询的ES节点的URL，默认http://localhost:9200
kibana.index kibana在Elasticsearch中使用索引来存储保存的searches, visualizations和dashboards，默认.kibana
3.启动
# cd /usr/local/kibana-6.5.4-linux-x86_64/
# nohup ./bin/kibana &Filebeat 部署
1.下载
# wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.5.4-darwin-x86_64.tar.gz
2.解压
# tar -zxvf filebeat-6.5.4-darwin-x86_64.tar.gz
# mv filebeat-6.5.4-darwin-x86_64 filebeat
# cd filebeat
3.修改配置
# vim fileat.yml
filebeat.prospectors:
- input_type: log
paths:
- /opt/logs/server/nginx.log
json.keys_under_root: true
json.add_error_key: true
json.message_key: log
output.kafka:
hosts: [ "192.168.182.101:9092"，"192.168.182.102:9092"，"192.168.182.103:9092" ]
topic: 'nginx'
4.启动
# systemctl start filebeat.service