Centos7-ELK5.4.1+Filebeat安装配置

一、简介：
ELK为Elasticsearch、Logstash和Kibana三个组件组成：
Elasticsearch是一款开源分布式搜索引擎，它的特点有：分布式、零配置、自动发现、索引自动分片、索引副本机制、restful风格接口、多数据源等。
Logstash是一款完全开源的日志收集、分析、存储的软件。其可以对收集的日志进行格式化处理。
Kibana可以为Elasticsearch和Logstash的日志分析提供友好的web展示界面，可以进行日志汇总、分析和搜索等。
Filebeat是一个以logstash-forwarder的源码为基础的日志收集器，以客户端的形式安装在要被监控日志的服务器上，监控日志目录或日志文件(以查看文件尾的形式)，然后将日志数据转发给Logstash解析或者Elasticsearch建立索引。

二、下载地址：
官网地址：https://www.elastic.co/downloads
对应版本软件下载地址：
https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.4.1.tar.gz
https://artifacts.elastic.co/downloads/logstash/logstash-5.4.1.tar.gz
https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.4.1-linux-x86_64.tar.gz
https://artifacts.elastic.co/downloads/kibana/kibana-5.4.1-linux-x86_64.tar.gz

三、ELK工作原理图

四、服务器及环境说明
1、服务器：

2、软件说明

五、配置基础环境
1、关闭所有服务器的防火墙及selinux
2、server-1与server-2服务器上配置JDK环境
#rpm -ivh jdk-8u131-linux-x64.rpm
3、配置系统参数
#echo "vm.max_map_count = 655360" >>/etc/sysctl.conf && sysctl –p
编辑/etc/security/limits.conf文件，新增以下内容

• soft nofile 65536
  • hard nofile 65536
  • soft nproc 65536
  • hard nproc 65536
    六、安装部署
    1、server-1安装elasticsearch（所有源码包均下载至/opt）
    #cd /opt/ELK
    #tar xf elasticsearch-5.4.1.tar.gz && mv elasticsearch-5.4.1.tar.gz elasticsearch
    #cd elasticsearch/config
    Elasticsearch的配置信息
    
    新建es普通用户启动服务
    #useradd es
    #chown –R es.es /opt/ELK/elasticsearch
    #su es
    #cd /opt/ELK/elasticsearch
    启动服务
    #nohup bin/elasticsearch &
    查看端口监听状态
    

2、server-1安装Kibana
#cd /opt/ELK
#tar xf kibana-5.4.1-linux-x86_64.tar.gz && mv kibana-5.4.1 kibana
#cd /opt/ELK/kibana

启动服务
#nohup bin/kibana &
在server-1上安装nginx，配置将nginx的80端口代理至kibana监听的5601端口上（配置忽略）
3、server-2上安装Logstash
#cd /opt
#tar xf logstash-5.4.1.tar.gz && mv logstash-5.4.1 logstash
#cd logstash/bin

启动服务
#nohup ./logstash –f 1.conf &
4、server-3上安装Filebeat
#cd /opt
#tar xf filebeat-5.4.1-linux-x86_64.tar.gz && mv filebeat-5.4.1 filebeat
编辑filebeat.yml文件

启动服务
#nohup ./filebeat &
七、测试
通过web界面访问，创建index patterns

查看日志

以上为ELK的单节点部署及简单使用，后续分享集群部署及高级用法。