ELK+filebeat+redis日志分析平台搭建

平台拓扑图

软件版本：

• elasticsearch-6.6.0
• logstash-6.6.0
• kibana-6.6.0
• redis-3.2.12
• java-1.8.0

1. 基础环境的准备

配置elasticsearch集群的基础环境，关闭其防火墙、selinux、配置主机名等

systemctl stop firewalld
systemctl disable firewalld
vim /etc/selinux/config
SELINUX=disabled
hostnamectl set-hostname node1
其它两台设备做相应的配置
在集群的三台设备的/etc/hosts文件中写入对应的主机名解析
172.20.128.39 node1
172.20.128.40 node2
172.20.128.41 node3
配置logstash主机的基础环境，这里logstash与kibana部署在一台设备上
systemctl stop firewalld
systemctl disable firewalld
vim /etc/selinux/config
SELINUX=disabled
hostnamectl set-hostname master
在/etc/hosts文件中写入elk集群的主机名解析
172.20.128.39 node1
172.20.128.40 node2
172.20.128.41 node3

2. 安装部署elasticsearch集群

首先安装java-1.8.0环境
yum install -y java-1.8.0
rpm -ivh elasticsearch-6.6.0.rpm
systemctl enable elasticsearch.service  
编辑其配置文件
vim /etc/elasticsearch/elasticsearch.yml
cluster.name: myels    //所属集群名称
node.name: node1     //当前节点名称
path.data: /els/data   //数据存放路径
path.logs: /els/logs   //日志存放路径
network.host: 172.20.128.39 //监听地址，向客户端提供服务地址
http.port: 9200
discovery.zen.ping.unicast.hosts: ["host1", "host2","host3"]   //集群成员判定
discovery.zen.minimum_master_nodes: 3      //内部集群成员关系判定最小主节点数
修改服务启动时内存所需大小
vim /etc/elasticsearch/jvm.options
-Xms1g    //初始化内存空间大小
-Xmx1g   //堆内存空间大小

安装部署其它两个节点
同上先安装java环境,然后安装elasticsearch
将节点1的配置文件复制到节点2跟节点3并作相应的修改
为每个节点创建存储目录

mkdir -p /els/{data,logs}
chown elasticsearch.elasticsearch /els/*
启动服务
systemctl start elasticsearch

当三个节点服务全部安装完成后可以使用curl查看节点运行状态是否正常

3.安装配置Logstash

首先安装java环境
yum install java-1.8.0-openjdk -y
rpm -ivh logstash-6.6.0.rpm
编辑配置文件/etc/logstash/logstash.yml
path.config: /etc/logstash/conf.d     //加载配置文件，此路径为logstash插件默认执行位置，包括输入插件配置文件，输出插件等配置文件
配置logstash环境变量
vim /etc/profile.d/logstash.sh
export PATH=$PATH:/usr/share/logstash/bin/

实例：定义一个标准输入输出插件，并logstash服务进行测试
input {
stdin {}
}
output {
stdout {}
}
进入交互式界面进行测试
logstash -f stdin-stdout.conf
输入hello logstash
得到标准输出

4.安装部署filebeat插件及redis缓存池

在172.20.128.43主机上上传filebeat的rpm包并安装
rpm  -ivh filebeat-6.6.0-x86_64.rpm
配置 Filebeat inputs数据读取路径
#=========================== Filebeat inputs =============================
- type: log
  paths:
  - /var/log/httpd/access_log    //日志获取的路径
filebeat文件的获取数据格式，默认为log
#================================ Redis Outputs  =====================================
output.redis:
  enable: true
  hosts: ["172.20.128.43"]
  port: 6379
  key: filebeat
  password: test.com
  db: 0
  datatype: list
systemctl start filebeat
systemctl enable filebeat
添加redis服务作为缓存池
yum install -y redis   //使用epel源安装
配置redis服务，编辑配置文件
vim /etc/redis.conf
监听0.0.0.0地址
bind 0.0.0.0
requirepass test.com
systemctl start redis
systemctl enable redis

5.安装httpd服务，并使用具体实例对日志分析流水线进行测试

yum install -y httpd
创建测试页面
for i in {1..20};do echo "Test Page $i" > ./test$i.html;done
使用curl命令进行测试
curl http://172.20.128.42/test1.html
修改httpd的配置文件
LogFormat "%{X-Forwarded-For}i %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined   //此配置可以将客户端的IP地址记录在日志中
systemctl start httpd
systemctl enable httpd
在客户端模拟多个不同的客户端对logstash进行访问
while true;do curl -H "X-Forwarded-For:$[$RANDOM%223+1].$[$RANDOM%225].1.1"    http://172.20.128.43/test$[$RANDOM%25+1].html; sleep 1; done

在logstash配置文件的conf.d目录下编写配置文件接受redis服务器存储的数据，在本地对日志数据进行加工处理，添加属性信息等，然后输出给elasticsearch。
为了在kibana中有更精确的数据展示，在logstash服务器中添加GeoLite2-City数据库，用于获取客户端IP地址的经纬度信息
geoip插件会根据请求自动读取到所期望读取的ip，例如cilentip
然后将cilentip跟地址库中信息做比对，如果能查找到则解析为当中所记录的归属者或者拥有者信息，否则返回错误。

配置使用geoip插件
展开GeoLite2-City_20191203压缩包，将文件复制到/etc/logstash/maxmind
进入到/etc/logstash/maxmind目录创建符号链接
ln -sv GeoLite2-City_20191203/GeoLite2-City.mmdb ./
接下来配置logstash用户接受处理数据的配置文件

vim /etc/logstash/conf.d/redis-els.conf
input {                  //input用于定义接受从redis获取数据
      redis {
        host => "172.20.128.43"
        port => 6379
        password => "test.com"
        db   => 0
        key  => "filebeat"
        data_type => "list"
        }

}
filter {                   //过滤插件对获取的日志数据进行切割同时添加属性信息
      grok {             //调用logstash内置函数对日志数据进行切割
        match => {"message" => "%{HTTPD_COMBINEDLOG}"}
        remove_field => ["message","beat"]
        }
      date {
        match => ["timestamp","dd/MMM/YYY:H:m:s Z"]
        }
      geoip {                                         //调用经纬度信息
        source => "clientip"
        target => "geoip"
        database => "/etc/logstash/maxmind/GeoLite2-City.mmdb"
        }
     mutate {                                       //去除数据切割后相同字段属性
        rename => {"[host][name]" => "host"}
        }
}
output {               //处理后的数据输出到elsaticsearch中
       elasticsearch {
           hosts => ["http://node1:9200/","http://node2:9200/","http://node3:9200/"]
           index => "logstash-%{+YYYY.MM.dd}"
           document_type => "httpd_access_logs"
       }
        stdout {codec => rubydebug}      //在输出到elasticsearch的同时，将数据数据到桌面，如果有错误信息同时输出的桌面
}

在客户端发起请求的同时，执行此配置文件
logstash -f redis-els.conf
此时可以看到桌面的数据输出

在elasticsearch验证是否有索引生成

6.安装kibana图形展示界面

将rpm包上传到172.20.128.42并安装
rpm -ivh kibana-6.6.0-x86_64.rpm
编辑配置文件 /etc/kibana/kibana.yml
server.port: 5601
server.host: "0.0.0.0"
server.name: "master"   //安装kinaba服务的主机名
elasticsearch.hosts: ["http://node1:9200"]  //生产环境中此处可以使用VIP进行高可用访问，此处选取任意一个elastic作为数据输入源
elasticsearch.preserveHost: true   //是否保留原来的主机host
kibana.index: ".kibana"  //kibana启动后将自身索引信息保存在elasticsearch，
启动服务
systemctl start kibana
systemctl enable kibana

在浏览器输入172.20.128.42:5601
在management生成配置一个index pattern,名称以logstash-“date”为基准

在Discover选项可以是创建的索引进行搜索

还可以在Visualize选项进行客户端请求IP地址来源的仪表盘展示，选择

此时一个elk的测试环境搭建完成