ELK5.4集群日志分析平台搭建之无限踩坑模式

ELK5.4集群日志分析平台搭建之无限踩坑模式

ELK5.4环境搭建经验总结，有一部分是广大网友的经验分享，文章末尾会贴上相关链接，如有不对的地方，请多多指教！！话不多说，开工吧，准备好相关工具包，个人建议使用Windows下载后用winscp上传到虚拟机：
ps:在虚拟机上用wget下载实在是太慢了，乌龟速度
软件安装方法：yum localinstall rpm包.rpm -y

---

jdk1.8.131（安装不再赘述，可以看我相关博客Linux下jdk安装配置（两种方法） ——先决条件

jdk为什么这么特殊呢？这个东西贼重要，不要问为什么，按照个人习惯，安装方法不做推荐，我一般喜欢解压版的（tar），也可以使用RPM包，参考Linux下jdk安装配置（两种方法） 安装即可。
注：安装之前先卸载 openjdk
1. 检测当前系统是否有Java环境
java -version

2. 列出当前系统已安装的所有openjdk版本
yum list installed | grep jdk

3. 卸载openjdk
yum -y remove java-*
yum -y remove copy-jdk-configs.noarch


大功告成，卸载完成！
如果使用解压版
请建立链接，后面会用到
ln -s /opt/jdk-1.8.131 /opt/java
ln -s /opt/java/bin/java /usr/bin/java

---

正式进入ELK的环境部署

elasticsearch5.6

https://www.elastic.co/downloads/past-releases/elasticsearch-5-6-1
链接: https://pan.baidu.com/s/1WrzG8VFF9wFqc74xriCTZw 密码: bqxc

1. 安装elasticsearch5.6
   yum localinstall elasticsearch-5.6.1.rpm -y

2. 编辑配置文件
   vi /etc/elasticsearch/elasticsearch.yml
   
   

3. 保存退出
   :x

4. 如果是集群安装，则按照以上配置修改其他节点的配置文件即可，单节点跳过此步骤！

5. 重新加载系统服务
   systemctl daemon-reload

6. 关闭防火墙并禁止开机自启
   systemctl stop firewalld.service
systemctl disable firewalld.service
   

7. 启动elasticsearch并设置开机自启
   systemctl start elasticsearch.service
systemctl enable elasticsearch.service

8. 查看服务状态
   systemctl status elasticsearch.service
   

9. 查看端口
   ss -tnl
   
   注：
   如果端口没起来，请使用 reboot 命令重启虚拟机，少走弯路！！

至此，elasticsearch已经安装完成，恭喜你！！！

---

logstash5.4.3

https://www.elastic.co/downloads/past-releases/logstash-5-4-3
链接: https://pan.baidu.com/s/1JjJM4-uGP4yI6QRL10b9uw 密码: fqtr

1. 安装
   yum localinstall logstash-5.4.3.rpm -y

2. 添加配置文件 logstash.conf
vi /etc/logstash/conf.d/logstash.conf
   写入以下内容：

input {
beats {
port => 5044
}
}
output {
elasticsearch {
hosts => "192.168.201.128:9200"
manage_template => false
index => "%{[@metadata][beat]}-%{+YYYY.MM.dd}"
document_type => "%{[@metadata][type]}"
}
}

1. 启动服务
   systemctl start logstash.service

2. 查看服务状态
   systemctl status logstash.service
   

3. 查看端口 5044
ss -tnl 或者 lsfo -i :5044
   

至此，logstash安装配置完成，恭喜你离成功又近了一步！！！

---

kibana5.4.3

https://www.elastic.co/downloads/past-releases/kibana-5-4-3
链接: https://pan.baidu.com/s/1QGyIDp1_3q0AuYTH-jjwQQ 密码: nmcu

1. 安装
   yum localinstall kibana-5.4.3-x86_64.rpm -y

2. 启动kibana并查看状态
   systemctl start kibana
systemctl status kibana
   

3. 查看端口
   ss -tnl
   

4. 添加Nginx反向代理
   yum -y install epel-release //安装epel源
   yum install nginx httpd-tools //安装Nginx和httpd用户认证工具

5. 更改配置文件
   vi /etc/nginx/nginx.conf
   注释一段server
   

6. 添加kibana.conf配置文件
   vi /etc/nginx/conf.d/kibana.conf
   写入一下内容：

   server {
   listen 80;
   server_name kibana;
   auth_basic "Restricted Access";
   auth_basic_user_file /etc/nginx/kibana-user;
   location / {
   proxy_pass http://192.168.201.128:5601;
   proxy_http_version 1.1;
   proxy_set_header Upgrade $http_upgrade;
   proxy_set_header Connection 'upgrade';
   proxy_set_header Host $host;
   proxy_cache_bypass $http_upgrade;
   }
   }

7. 生成页面登录用户认证文件
   htpasswd -cm /etc/nginx/kibana-user adrian //生成kibana-user文件，并添加用户adrian

8. 检测nginx.conf配置文件
   nginx -t
   

9. 启动Nginx并查看服务状态
   systemctl start nginx
systemctl status nginx
   

10. 检测端口，然后将nginx服务添加到开机自启
    ss -tnl
systemctl enable nginx
    

11. 打开浏览器地址栏输入192.168.201.128
    输入用户名adrian，密码
    

至此，如果你看到了这个界面，那么祝贺你，kibana安装以及Nginx反向代理配置成功了！！！

---

filebeat5.4.3

https://www.elastic.co/downloads/past-releases/filebeat-5-4-3
链接: https://pan.baidu.com/s/1oKvK30fvEjHhQKGvx3T2ew 密码: q1a7

1. 安装
   yum localinstall filebeat-5.4.3-x86_64.rpm -y

2. 修改配置文件
   vi /etc/filebeat/filebeat.yml
   
   

3. 启动服务并查看状态
   systemctl start filebeat
systemctl status filebeat
   

---

OK，恭喜你已经完成了ELK日志分析平台的搭建，下面我们来测试一下：

Perfect！想必这个过程已经持续两三个小时了吧，哈哈，有没有成就感？后续我发现其他细节问题还会再次更新，欢迎各位在下方分享经验！

---

才开始写blog，有不对的地方烦请多多指教，下面贴上我参考的教程，感谢大佬给予我的莫大的帮助！

• 来自博客园的 Adrian·Ding