【日志】ELK日志处理集群部署

---

前言

本博客内容仅为记录博主思路，仅供参考，一切以自己实践结果为准。

---

一、概念/使用环境

• ELK平台是一套完整的日志集中处理解决方案
• 由ElasticSearch、Logstash、Kiabana三个开源工具配合使用
• 是用户对日志的查询、排序、统计的强大工具组合
• 一般用于大型企业，中小型企业一般会选择（rsyslog+日志服务器或者shell+Python收集日志）

---

二、组件详解

2.1 elasticsearch

• 储存各类日志文件
• 全文检索引擎的架构
• 分布式村塾检所引擎
• 实时的、分布式、可拓展的搜索引擎

---

2.2 kibana

• 提供web界面，对es的数据提供可视化展示
• 汇总、分析、搜索重要数据

---

2.3 logstash

• 数据收集引擎（该功能通常会被filebeat替代）
• 具有过滤、分析、丰富、统一格式等操作
• 实现数据传输、格式化处理、格式化输出
• 储存数据到指定位置，一般会发送给es
• 拥有自适用缓冲功能

---

2.4 filebeat

• 轻量级开源日志收集器
• 通常用来代替logstash日志收集作用

---

2.5 ELFK的好处

• 自适用缓冲功能
• 从其他数据源提取数据
• 将数据发送到多个目的地
• 使用条件数据流逻辑组成更复杂的处理管道

---

2.6 fluentd（额外）

• 多用于原生环境，go语言开发
• 功能与logstash类型，通常代理logstash

---

三、集群搭建

3.1 elasticsearch

• 搭建两个elasticsearch服务器

systemctl stop firewalld
setenforce 0

hostnamectl set-hostname node01
su

vim /etc/hosts
	192.168.13.10 node01
	192.168.13.20 node02
	
cd /opt
tar zxvf jdk-8u91-linux-x64.tar.gz -C /usr/local/
cat>>/etc/profile<<EOF
export JAVA_HOME=/usr/local/jdk1.8.0_91
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:$PATH
EOF
source /etc/profile

scp -r /usr/local/jdk1.8.0_91/ node02:/usr/local
scp -r /usr/local/jdk1.8.0_91/ 192.168.13.30:/usr/local

cd /opt
rpm -ivh elasticsearch-6.7.2.rpm
cd /etc/elasticsearch/
cp elasticsearch.yml elasticsearch.yml.bak
vim elasticsearch.yml
	17行：cluster.name: my-elk-cluster
	23行：node.name: node01
	24行（插入）：node.master: true
	25行（插入）：node.data: true
	35行：path.data: /var/lib/elasticsearch
	39行：path.logs: /var/log/elasticsearch
	45行：bootstrap.memory_lock: false
	57行：network.host: 0.0.0.0
	61行：http.port: 9200
	62行（插入）：transport.tcp.port: 9300
	71行：discovery.zen.ping.unicast.hosts: ["node01:9300", "node02:9300"]

vim /etc/security/limits.conf
	*  soft    nofile          65536
	*  hard    nofile          131072
	*  soft    memlock         unlimited
	*  hard    memlock         unlimited
ulimit -n 131072

vim /etc/sysctl.conf
	vm.max_map_count=262144
sysctl -p

systemctl start elasticsearch.service
systemctl enable elasticsearch.service
#等待大约十秒钟启动时间
netstat -antp | grep 9200



#安装 Elasticsearch-head 插件
yum install gcc gcc-c++ make -y
cd /opt
tar zxvf node-v8.2.1.tar.gz

cd node-v8.2.1/
./configure
make -j 2 && make install

cd /opt
tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src/
cd /usr/local/src/phantomjs-2.1.1-linux-x86_64/bin
cp phantomjs /usr/local/bin

cd /opt
unzip elasticsearch-head-master.zip -d /usr/local/src/
cd /usr/local/src/elasticsearch-head-master/
npm install

vim /etc/elasticsearch/elasticsearch.yml
	末行：http.cors.enabled: true
	末行：http.cors.allow-origin: "*"
systemctl restart elasticsearch

cd /usr/local/src/elasticsearch-head-master/
#必须先移动到该目录，才能启动head服务
npm run start &

curl -X PUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'
#该命令创建一个索引，用于测试应用是否成功配置启动。进入192.168.13.10:9100会发现数据默认被分片成5个（此时为成功）

---

3.2 Apache/Logstash/kibana

• 受电脑性能影响，因此把三个服务安装在一台服务器上

#apache节点（ELK Logstash 部署）
systemctl stop firewalld
setenforce 0

hostnamectl set-hostname apache
su

yum -y install httpd
systemctl start httpd

vim /etc/profile
	export JAVA_HOME=/usr/local/jdk1.8.0_91
	export JRE_HOME=${JAVA_HOME}/jre
	export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
	export PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:$PATH
source /etc/profile

cd /opt
rpm -ivh logstash-6.7.2.rpm 
systemctl start logstash.service 
systemctl enable logstash.service
ln -s /usr/share/logstash/bin/logstash /usr/local/bin/

logstash -e 'input { stdin{} } output { stdout{} }'
	www.baidu.com
	#测试log工具是否安装成功

chmod +r /var/log/messages
vim /etc/logstash/conf.d/system.conf
#内容从此开始
input {
    file{
        path =>"/var/log/messages"
        type =>"system"
        start_position =>"beginning"
    }
}
output {
    elasticsearch {
        hosts => ["192.168.13.10:9200","192.168.13.20:9200"]
        index =>"system-%{+YYYY.MM.dd}"
    }
}
#内容到此结束

systemctl restart logstash

#apache节点（ELK kibana 部署）
cd /opt
rpm -ihv kibana-6.7.2-x86_64.rpm
vim /etc/kibana/kibana.yml
	2行：server.port: 5601
	7行：server.host: "0.0.0.0"
	28行：elasticsearch.url:  ["http://192.168.13.10:9200","http://192.168.13.20:9200"]
	37行：kibana.index: ".kibana"
	96行：logging.dest: /var/log/kibana.log

touch /var/log/kibana.log
chown kibana:kibana /var/log/kibana.log
systemctl start kibana.service
systemctl enable kibana.service
netstat -natp | grep 5601
#此时可通过网页查看192.168.13.30:5601验证kibana是否安装成功

vim /etc/logstash/conf.d/apache_log.conf
#创建Apache日志文件配置，将 Apache 服务器的日志添加到 Elasticsearch 并通过 Kibana 显示

#文件内容从此开始
input {
    file{
        path => "/etc/httpd/logs/access_log"
        type => "access"
        start_position => "beginning"
    }
    file{
        path => "/etc/httpd/logs/error_log"
        type => "error"
        start_position => "beginning"
    }
}

output {
    if [type] == "access" {
        elasticsearch {
            hosts => ["192.168.13.10:9200","192.168.13.20:9200"]
            index => "apache_access-%{+YYYY.MM.dd}"
        }
    fi
    }

    if [type] == "error" {
    elasticsearch {
        hosts => ["192.168.13.10:9200","192.168.13.20:9200"]
        index => "apache_error-%{+YYYY.MM.dd}"
    }
    fi
    }
}
#文件内容到此结束

cd /etc/logstash/conf.d/
/usr/share/logstash/bin/logstash -f apache_log.conf
#开始收集日志

---

四、思维导图

五、结语

• 内存要给足，否则要关闭内存锁定选项：bootstrap.memory_lock: false
• java环境最好安装高版本，防止版本不支持
• 要注意细节，比如主机名更改