(八) elasticsearch手把手搭建生产环境ELK加kafka实现分布式日志收集总结

 

ELK+kafka实现分布式日志收集系统

 

整体需要按照下面命令进行启动各个环境.

(9)  后台启动elasticsearch    端口为9200外部通讯使用 9300节点间内部通讯使用   服务端浏览器地址为:http://101.37.32.7:9200/   

                            nohup ./elasticsearch    > /dev/null 2> /dev/null &

 

(10)  后台启动kibana   端口为5601  浏览器地址为:http://101.37.32.7:5601/

                            nohup ./kibana  >/dev/null 2>/dev/null &

                                          查看是否启动成功:   netstat -tunlp|grep 5601

 

 (11) 后台启动logstash     监听端口为9600  用来接收tcp:9600的日志

                nohup ./logstash -f ../config/adlog.conf   > /dev/null 2>&1 &

 

 (12) 后台启动elasticsearch-head   端口为9100    浏览器地址为:http://101.37.32.7:9100/

                            进入/usr/local/的head目录下

                            nohup grunt server &exit 

                            查看是否启动成功:netstat -tunlp|grep 9100

 

13) 后台启动kafka  端口为9092

                            nohup ./kafka-server-start.sh ../config/server.properties > /dev/null 2>&1 &

 

 (14)  后台启动kafka-manager   端口为9000   浏览器地址为:http://101.37.32.7:9000/

                 nohup  ./kafka-manager > /dev/null 2>&1 &

 

 

搭建流程:

 

(一) elasticsearch手把手搭建生产环境部署并启动

 

(二) elasticsearch手把手搭建生产环境日志收集系统ELK之kibana搭建

 

(三) elasticsearch手把手搭建生产环境日志收集系统ELK完结版之logstash

 

(四) elasticsearch手把手搭建生产环境es客户端工具head插件

 

(五) elasticsearch手把手搭建生产环境日志收集系统ELK之kafka单实例搭建

 

(六) elasticsearch手把手搭建生产环境ELK加kafka实现终极版日志收集系统

 

(七) elasticsearch手把手搭建生产环境ELK之logstash监控logback所有日志.

 

 

 

原理图如下