elasticsearch + filebeat + kibana搭建过程

EFK搭建过程

准备工作

1. 安装Java运行环境

   ps: Java运行环境自行百度搜索一下，网上都有比较成熟的方案，这里就不描述了

2. 安装elasticsearch

3. 安装filebeat

4. 安装kibana

   ps： elasticsearch 、filebeat、kibana最好保证统一的版本，这样可以减少版本不兼容的问题, 本文安装部署以最新V7.5版本为示例

安装elasticsearch

1. 首先去elasticsearch官网下载想要部署elasticsearch版本到安装目录,然后进行解压 elasticsearch下载连接

2. 创建用户启动elasticsearch的用户，修改配置

   # 创建一个用户名为es的用户
   
    useradd es 
   # 设置密码
    passwd es 
   # 创建一个名为bigdata的用户组
    groupadd bigdata 
   # 添加es用户到这个用户组
    usermod –g bigdata es    
   # 设置刚下载解压的es目录权限为 es:bigdata 
   chown -R es:bigdata elasticsearch-7.5.0 
   

   # PS: 系统参数优化修改
   # 文件包含限制一个进程可以拥有的VMA(虚拟内存区域)的数量,进行修改
    vi /etc/sysctl.conf
    vm.max_map_count=655360
    # 使修改生效执行: 
    sysctl-p 
    # 每个进程默认打开的最大文件句柄数是1000,对于服务器进程来说，显然太小，通过修 改/etc/security/limits.conf来增大打开最大句柄数
    vi  /etc/security/limits.conf
    # 设置：
    es soft nofile 65536
    es hard nofile 65536
    es soft nproc 4096
    es hard nproc 4096
   

   # 配置es的elasticsearch.yml
   # 修改集群名称：
    cluster.name: efk
   # 修改数据和日志路径：预先创建好，并赋es权限
    path.data: /opt/es/data
    path.logs: /opt/es/logs
   # 允许其他服务器访问
    network.host: 0.0.0.0
   # 单机模式运行还要修改：
    cluster.initial_master_nodes:  ["node-1"] 
   # elasticsearch-7.0 版本以上需要配置
   

3. 启动

 # 切换es用户，启动elasticsearch
 sh ./bin/elasticsearch  –d 

安装kibana

1. 首先去elasticsearch官网下载想要部署kibana版本到安装目录,然后进行解压 kibana下载连接

2. 修改kibana配置文件

   vim config/kibana.yml
   # 需要修改的配置项
   server.port: 5601
   server.host: “localhost”
   elasticsearch.hosts: ["http://127.0.0.1:9200"]
   

3. 启动kibana

   nohup bin/kibana > kibana.log  2>&1 &
   

安装filebeat

1. 首先去elasticsearch官网下载想要部署filebeat版本到需要收集日志的应用服务器上,然后进行解压 filebeat下载连接

2. 如需要收集127.0.0.1机器上/data/logs/下的日志信息 就把filebeat 下载到127.0.0.1机器上的/opt目录上， 解压

3. 配置filebeat.yml

      filebeat.inputs:
      - type: log
        enabled: true 
        paths:
          - /data/logs/*.log
   
      setup.kibana:
        host: "127.0.0.1:5601"
      output.elasticsearch:
        hosts: ["127.0.0.1:9200"]
   

4. 设置kibana dashboard

./filebeat setup --dashboards

4. 启动

  #启动filebeat:  
  nohup ./filebeat -e -c filebeat.yml -d "publish" > filebeat.log  2>&1 &

总结

本文是进行搭建了一个单机版本的EFK，当需要搭建集群的ES，可能需要修改一下额外的配置。

1. kibana访问路径： http://127.0.0.1:5601
2. es的访问路径 http://127.0.0.1:9200