Centos7安装ELK Cyrus

Author: Cyrus

Date: 2020/4/21

 

 

 

一、介绍

ELK是三款开源软件的缩写，即：ElasticSearch + Logstash + Kibana。这三个工具组合形成了一套实用、易用的监控架构，可抓取系统日志、apache日志、nginx日志、mysql日志等多种日志类型，目前很多公司用它来搭建可视化的集中式日志分析平台。
ElasticSearch：是一个分布式的RESTful风格的搜索和数据分析引擎，同时还提供了集中存储功能，它主要负责将logstash抓取来的日志数据进行检索、查询、分析等。
Logstash：日志处理工具，负责日志收集、转换、解析等，并将解析后的日志推送给ElasticSearch进行检索。
Kibana：Web前端，可以将ElasticSearch检索后的日志转化为各种图表，为用户提供数据可视化支持。
Filebeat：轻量型日志采集器，负责采集文件形式的日志，并将采集来的日志推送给logstash进行处理。
Winlogbeat：轻量型windows事件日志采集器，负责采集wondows的事件日志，并将采集来的日志推送给logstash进行处理。

 

二、安装环境

由于我这边是测试环境，所以ElasticSearch + Logstash + Kibana这三个软件我都是装在一台机器上面，如果是生产环境，建议分开部署，并且ElasticSearch可配置成集群方式。

 

 

三、准备工作

禁用selinux、关闭防火墙

 sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config

 sed -i ‘s/SELINUXTYPE=targeted/#&/‘ /etc/selinux/config

 setenforce 0 # 可以设置配置文件永久关闭

 systemctl stop firewalld.service

systemctl disable firewalld.service

 

四、安装jdk，因为安装ELK需要依赖java环境

 yum -y install java-1.8.0-openjdk

查看java版本

 java -version

 

 

 

五、安装elasticsearch、logstash、kibana

下载并安装公共签名密钥：rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

创建yum的repo文件：vi /etc/yum.repos.d/elasticsearch.repo

添加容易如下：

 [elasticsearch-6.x]

name=Elasticsearch repository for 6.x packages
baseurl=https://artifacts.elastic.co/packages/6.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md

 

1、安装Elasticsearch

 yum -y install elasticsearch

 

修改配置文件

 

 vi /etc/elasticsearch/elasticsearch.yml

path.data: /data/elasticsearch/data

path.logs: /data/elasticsearch/logs

network.host: localhost

http.port: 9200

 

 

 

systemctl start elasticsearch

systemctl enable elasticsearch

 

验证安装

systemctl status elasticsearch

 

curl -X GET "localhost:9200"

 

 

2、kibana安装

yum -y install kibana

 

vi /etc/kibana/kibana.yml

server.port: 5601

server.host: "0.0.0.0"

elasticsearch.url: "http://localhost:9200"

 

systemctl start kibana

systemctl enable kibana

systemctl status kibana

 

netstat -nltp |grep 5601

 

浏览器访问 http://192.168.47.131:5601

 

3、安装 logstash

 

Yum -y install logstash

添加配置文件

vi /etc/logstash/conf.d/logstash.conf  # 添加如下内容

input {

  beats {

    port => 5044

    codec => plain {

          charset => "UTF-8"

    }

  }

}

 

output {

  elasticsearch {

    hosts => "127.0.0.1:9200"

    manage_template => false

    index => "%{[@metadata][beat]}-%{+YYYY.MM.dd}"

    document_type => "%{[@metadata][type]}"

  }

}

 

测试语法是否正确

sudo -u logstash /usr/share/logstash/bin/logstash --path.settings /etc/logstash -t

 

Configuration OK

 

systemctl start logstash

systemctl enable logstash

systemctl status logstash

 

4、安装 filebeat

 

yum install -y filebeat

 

vi /etc/filebeat/filebeat.yml

- type: log

  enabled: true

    - /var/log/*.log

    - /var/log/messages

filebeat.config.modules:

  path: ${path.config}/modules.d/*.yml

  reload.enabled: false

setup.template.settings:

  index.number_of_shards: 3

setup.kibana:

  host: "localhost:5601"

#output.elasticsearch:    //我们输出到logstash，把这行注释掉

  #hosts: ["localhost:9200"]   //这行也注释掉

output.logstash:

  hosts: ["localhost:5044"]

 

 

filebeat modules enable system

filebeat modules list

 

cat /etc/filebeat/modules.d/system.yml

 

创建索引

sudo filebeat setup --template -E output.logstash.enabled=false -E 'output.elasticsearch.hosts=["localhost:9200"]'

显示Loaded index template

这样就可以展现数据

 

filebeat setup -e -E output.logstash.enabled=false -E output.elasticsearch.hosts=['localhost:9200'] -E setup.kibana.host=localhost:5601

 

 

Systemctl start filebeat

Systemctl enable filebeat

Systemctl status filebeat

 

 

验证是否存在数据

curl -X GET 'http://localhost:9200/filebeat-*/_search?pretty'