Linux搭建ELK日志收集系统：FIlebeat+Redis+Logstash+Elasticse

Centos7部署ELK日志收集系统

 

一、ELK概述：

ELK是一组开源软件的简称，其包括Elasticsearch、Logstash 和 Kibana。ELK最近几年发展迅速，已经成为目前最流行的集中式日志解决方案。

• Elasticsearch: 能对大容量的数据进行接近实时的存储，搜索和分析操作。 本项目中主要通过Elasticsearch存储所有获取的日志。
• Logstash： 数据收集引擎，它支持动态的的从各种数据源获取数据，并对数据进行过滤，分析，丰富，统一格式等操作，然后存储到用户指定的位置。
• Kibana： 数据分析与可视化平台，对Elasticsearch存储的数据进行可视化分析，通过表格的形式展现出来。
• Filebeat: 轻量级的开源日志文件数据搜集器。通常在需要采集数据的客户端安装Filebeat,并指定目录与日志格式,Filebeat就能快速收集数据，并发送给logstash进行解析，或是直接发给Elasticsearch存储。
• Redis：NoSQL数据库(key-value)，也数据轻型消息队列，不仅可以对高并发日志进行削峰还可以对整个架构进行解耦

 

传统ELK的经典框架

 

 

单一的架构，logstash作为日志搜集器，从数据源采集数据，并对数据进行过滤，格式化处理，然后交由Elasticsearch存储，kibana对日志进行可视化处理。

 

新型ELK框架

 

Filebeats是一种轻量级的日志搜集器，其不占用系统资源，自出现之后，迅速更新了原有的elk架构。Filebeats将收集到的数据发送给Logstash解析过滤，在Filebeats与Logstash传输数据的过程中，为了安全性，可以通过ssl认证来加强安全性。之后将其发送到Elasticsearch存储，并由kibana可视化分析。

 

 

二、新型ELK搭建详细过程

 

实验环境：

主机	IP	部署程序
1	120.27.***.***	filebeat
2	118.31.*.*	redis，logstash，elasticsearch，kibana

下面是搭建过程中所需程序安装包：

https://pan.baidu.com/s/1w02WtUAqh9yX4TChyMLa5Q 密码：g0p9

 

客户端部署filebeat：

yum -y install filebeat

#查看配置文件所在位置

1. rpm -qc filebeat

2. 修改配置文件使filebeat获取的日志进入redis：

注：此处演示获取spring boot日志，其他程序日志都可相同方法获取

vim /etc/filebeat/filebeat.yml

#修改的内容有加几个字段

enabled：true

paths：程序日志路径

output.redis：日志输出地方

hosts：redis所在服务器IP

port：redis端口

key：redis中的key

 

 

3.源码安装redis：

解压redis程序包：

tar zxf redis-3.2.9.tar.gz –C /opt/modules

编译redis：

cd /opt/modules/redis-3.2.9

make && make install

 

修改redis配置文件：

vim /usr/local/redis/redis.conf

#修改内容如下：

daemonize yes #开启后台运行

timeout 120 #超时时间

bind 0.0.0.0 #任何地址IP都可以登录redis

protected-mode no #关闭redis保护机制否则在没有密码校验情况下redis远程登录失败

 

 

4.登录测试redis是否可以正常写入数据：

 

 

5.启动filebeat看看redis是否能接收到数据：

启动filebeat：./filebeat -e -c filebeat.yml

 

 

6.进入redis查看是否有数据：

#执行命令：

keys * #查看所有key，此操作为慢查询，若redis跑了大量线上业务请不要进行此操做

lrange eureka-log 0 -1 #查询key所有数据，若filebeat启动时间过长请勿进行此操作

 

 

 

7.安装jdk1.8：

解压jdk安装包：

tar -zxvf /opt/softwares/jdk-8u91-linux-x64.tar.gz -C /opt/modules/

 

配置环境变量：

vim /etc/profile

#修改内容如下：

JAVA_HOME=/opt/modules/jdk1.8.0_91/

export JRE_HOME=/opt/modules/jdk1.8.0_91/jre

export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

 

重新载入环境变量：

source /etc/profile

查看jdk是否安装成功：

java -version

 

 

 

8.安装Elasticsearch：

解压安装包并改名：

unzip elasticsearch-5.6.3.zip -d /opt/modules/

mv elasticsearch-5.6.3/ elasticsearch/

 

修改ES配置文件：

vim elasticsearch.yml

#这里指定的是集群名称，需要修改为对应的，开启了自发现功能后，ES会按照此集群名称进行集群发现

cluster.name: my-application

node.name: node-1

 

#目录需要手动创建

path.data: /opt/elk/data

path.logs: /opt/elk/logs

 

#ES监听地址任意IP都可访问

network.host: 0.0.0.0

http.port: 9200

 

#若是集群，可在里面引号中添加，逗号隔开

discovery.zen.ping.unicast.hosts: [“192.168.3.205”]

 

# enable cors，保证_site类的插件可以访问es

http.cors.enabled: true #手动添加

http.cors.allow-origin: “*” #手动添加

 

 

注：ES启动的时候回占用特别大的资源所以需要修改下系统参数,若不修改资源启动会异常退出

8.修改系统参数：

vim /etc/sysctl.conf

#添加参数

vm.max_map_count=655360

重新载入配置：

sysctl –p

 

 

9.修改资源参数：

vim /etc/security/limits.conf

#修改

 

* soft nofile 65536

* hard nofile 131072

* soft nproc 65536

* hard nproc 131072

如：

 

 

10.设置用户资源参数：

vim /etc/security/limits.d/20-nproc.conf

#添加

elk soft nproc 65536

 

 

11.创建用户并赋权：

useradd elk

groupadd elk

useradd elk -g elk

 

 

12.创建数据和日志目录并修改目录权限：

mkdir –p /opt/elk/data

mkdir –p /opt/elk/logs

chown –R elk:elk /opt/elk

chown –R elk:elk /usr/local/elasticsearch

 

 

13.切换用户并后台启动ES：

su elk

/opt/modules/elasticsearch/bin/elasticsearch -d 后台原型

 

 

 

14.查看ES状况：

方法一、curl 'http://[ES IP]:9200/_search?pretty'

方法二、#网页访问：http://[ES IP]:9200/_search?pretty

 

15.安装logstash：

解压并创建软连接：

tar -axvf logstash-5.3.1.tar.gz -C /opt/modules/

测试logstash是否可用：

./bin/logstash -e 'input { stdin { } } output { stdout {} }'

在此创建主配文件进行测试：

vim /opt/modules/logstash/config/logstash-simple.conf

#内容如下：

input { stdin { } }

output {

stdout { codec=> rubydebug }

}

使用logstash参数-f读取配置文件进行测试：

/opt/modules/logstash-5.3.1/bin/logstash -f /opt/modules/logstash-5.3.1/config/logstash-simple.conf

此时说明我们的logstash是完全没有问题了，可以进行日志收集了

 

 

16.创建配置文件获取redis日志的数据：

配置文件如下：

vim /usr/local/logstash/config/redis-spring.conf

input {

redis {

port => "6379"

host => "【redis】IP"

data_type => "list"

type => "log"

key => "huohua_api_log"

}

}

output {

elasticsearch {

hosts => "[ES IP]:9200"

index => "logstash1-%{+YYYY.MM.dd}"

}

}

通过配置文件启动服务查看效果：

/opt/modules/logstash-5.3.1/bin/logstash -f /opt/modules/logstash-5.3.1/config/redis-spring.conf

结果如下：

 

此时我们再去查看reids中key：（此时已经没有数据了，数据已经被logstash取完）

 

 

17.使用curl 查看ES是否接受到数据

curl http://[ES IP]:9200/_search?pretty

结果如下：

 

此时说明我们logstash从redis中取数据，在把数据推到ES中是ok的！

 

 

18.安装ES插件：（elasticsearch-head）

注：head安装需要从国外网站拉去东西，可能网速过慢导致安装失败（可以多试几次），下面有几种方法安装：

方法二、

git clone git://github.com/mobz/elasticsearch-head.git

cd elasticsearch-head

npm install

npm run start & 【后台运行】

netstat –anpt | grep 9100

 

 

19.Elasticsearch-head安装成功Web访问结果如下：

查看刚刚从logstash推到ES中的数据：

 

 

20.安装kibana

解压并安装kibana：

tar -axvf kibana-5.3.1-linux-x86_64.tar.gz -C /opt/modules/

 

修改kibana配置文件：

vim /opt/modules/kibana/config/kibana.yml

 

修改内容如下：

server.port: 5601 #开启默认端口5601

server.host: s #kibana站点IP

elasticsearch.url:[ES IP]:9200 #只想ES服务所在IP Port

kibana.index: “.kibana”

后台启动kibana：

/opt/modules/kibana/bin/kibana

 

使用Web访问kibana：http://[Kibana IP]:5601

初次访问结果如：（刚访问的时候没有创建索引所以没有看不到数据）

 

 

根据logstash配置文件中index设置索引：

首先查看logstash中的index：

 

下面按照1,2,3,4顺序进行设置：

 

此时我们在返回Discover在里面我们就可以看到数据了：

 

 

 

 

原文转载自： https://blog.51cto.com/13859393/2156844