ELK日志系统搭建

一、ELK应用场景

复杂的企业应用服务集群中，日志的类型多种多样，不易归档不说，还不容易监控。无论是谁都很难准确定位服务器上的各种问题，也没有能够高效搜索日志定位问题的方式方法。ELK就提供了这样一个功能，能够搜索各个服务器的日志信息并且提供图形化界面做数据展示和分析。

二、ELK日志系统介绍

简写	全称	简介	作用
E	Elasticsearch	开源分布式搜索引擎，提供存储、分析、搜索的功能。	搜集日志数据并提供给kibana查询分析
L	Logstash	日志搜集分析过滤框架，支持多种数据输入输出格式	用于收集日志，对日志进行过滤及格式化输出到elasticsearch
K	Kibana	开源的图形化展示系统	对elasticsearch提供的数据进行可视化分析

三、Beats介绍

由于Logstash对资源消耗较大，因此引进了轻量级日志采集框架Beats，主要包括以下六种：

名称	功能
Packetbeat	用于收集网络流量数据
Heartbeat	用于运行时间监控
Filebeat	用于搜集文件数据
Winlogbeat	用于搜集windows事件数据
Metricbeat	用于指标数据
Auditbeat	用于审计数据

四、ELK环境搭建（非集群）

1.安装JDK

• 使用yum查看JDK版本

yum search java|grep -i --color JDK

命令结果

• 使用yum命令安装jdk

yum install java-1.8.0-openjdk*

• 查看jdk安装位置

ls -l /usr/lib/jvm

• 编辑环境变量

vi /etc/profile
JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.171-8.b10.el7_5.x86_64
PATH=$PATH:$JAVA_HOME/bin
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/toos.jar
export JAVA_HOME CLASSPATH PATH

source /etc/profile  #生效环境配置

2.安装Elasticsearch

• 下载路径：
  elasticsearch
  kibana
  logstash
• 解压安装包

tar -zxvf elasticsearch-7.4.0-linux-x86_64.tar.gz

• 修改elasearch配置文件

vim /home/elasticsearch/config/elasticsearch.yml 
#添加以下内容
network.host: 0.0.0.0
http.port: 9200
http.cors.enabled: true
http.cors.allow-origin: "*"
node.name: node-1
cluster.initial_master_nodes: ["node-1"]

• 注意事项
  root用户是不能直接启动elasticsearch的，需要创建新用户，然后切换用户去启动elasticsearch。

groupadd elsearch
useradd elsearch -g elsearch -p elasticsearch
cd /home/
chown -R elsearch:elsearch elasticsearch
su elsearch
cd elasticsearch/bin
sh elasticsearch &

需要修改服务器最大链接数：

vim /etc/security/limit.conf
*  soft  nofile 65536
*  hard  nofile  131072
*  soft  nproc  2048
*  hard  nproc  4096

编辑sysctl.conf文件

vim /etc/sysctl.conf
vm.max_map_count=655360

• 测试
  现在已经配置启动完成，可以在浏览器中输入url，服务器ip:9200看是否能看到如下内容：

  
  
  elasticsearch部署完成后

3.安装kibana

vi /home/kibana/config/kibana.yml
#新增如下内容：
server.port: 5601
server.host: "0.0.0.0"
elasticsearch.hosts: ["http://localhost:9200/"]
# elasticsearch.url: "http://192.168.153.135:9200"
kibana.index: ".kibana"

• 启动kibana

cd /home/kibana/bin
sh kibana --allow-root &

• 测试
  在浏览器中输入ip:5601查看kibana是否启动成功

  
  
  kibana安装成功

4.安装logstash

cd logstash/bin
#新建文件logstash.conf
vim logstash.conf
input {
   file {
            path => "/var/log/messages"
            type => "system"
            start_position => "beginning"
        }
}
output {
        elasticsearch {
            hosts => ["127.0.0.1:9200"]
            index => "nagios-system-%{+YYYY.MM.dd}"
        }
}

启动logstash：sh logstash -f logstash.conf &

5.配置kibana

Index Management

create Index Patterns

这样ELK的环境就搭建完成了。