单机部署EFK

基本拓扑.png

最近急需日志分析工具，来辅助系统运维，不然的话，系统出问题，一个个登录用tail看日志太浪费时间，前段时间部署了一次ELK，发现logstash有些耗资源了，这次改用EFK，由于资源有限，先单台部署研究下如何使用。由于部署时遇到一些坑，在此做一下记录，以供后期提高并发扩容至集群模式的时候做参考用。
一、所需软件
1.elasticsearch-7.7.0-linux.tar.gz
2.kibana-7.7.0-linux.tar.gz
3.filebeat-7.7.0-linux.tar.gz
以上必须在同一版本，不然很容易出错
下载网址：https://elasticsearch.cn/download/
二、单机部署
（一）elasticsearch部署
1.环境设置
a.添加一般用户，用于后续启动服务
useradd es
b.修改系统文件属性（/etc/security/limits.conf）

设置文件属性.jpg

c.修改系统文件属性（/etc/sysctl.conf）
添加一条记录：vm.max_map_count=655360
设置完执行 sysctl -p使其生效
d.在/etc/profile文件后边添加java环境变量
注意这里的java版本要和es的匹配才行，一般可选用其自带的
设置完，执行souce /etc/profile使环境变量生效
2.修改配置文件

cluster.name: my-harlan   #配置集群的名称

node.name: harlan_ansible     #本节点的名称，此主机的名称

path.data: /application/es/to/data      #日志存放地址

path.logs: /application/es/to/logs      #elasticsearch的本地日志

network.host: 0.0.0.0               #任意IP都可以访问elasticsearch

http.port: 9200                  #elasticsearch的访问端口

cluster.initial_master_nodes: ["harlan_ansible"]      #开启集群的节点

http.cors.enabled: true                  #如果配置elasticsearch-head，要加这两个
http.cors.allow-origin: "*"

3.启动服务
在启动服务之前，将es本地日志和数据存放地址、以及es程序目录的权限和所有者都设置成es
chown -R es:es ./elasticsearch
接下来切换至es用户启动服务 ：
./elasticsearch/bin/elasticsearch -d

4.Elasticsearch API

集群状态：http:// ip:9200/_cluster/health?pretty
节点状态：http:// ip:9200/_nodes/process?pretty
分片状态：http:// ip:9200/_cat/shards
索引分片存储信息：http:// ip:9200/index/_shard_stores?pretty
索引状态：http:// ip:9200/index/_stats?pretty
索引元数据：http:// ip:9200/index?pretty

（二）kibana部署
1.修改配置文件：

server.port: 5601   #kibana端口
server.host: "10.0.0.169"    #绑定的主机IP地址
elasticsearch.hosts: ["http://10.0.0.169:9200"]      #elasticsearch的主机IP
kibana.index: ".kibana"     #开启此选项
logging.dest: /data/log/kibana/kibana.log # 配置kibana日志输出到哪里
i18n.locale: "zh-CN"     #kibana默认文字是英文，变更成中文

2.启动服务
在启动服务之前，将kibana本地日志和数据存放地址、以及kibana程序目录的权限和所有者都设置成es
chown -R es:es ./kibana
接下来切换至es用户启动服务 ：
./kibana/bin/kibana
3.通过浏览器访问地址：http://ip:5601

kibana界面.jpg

（三）通过访问kibana浏览器，我们可以直接在需要收集日志的主机上安装Beats软件，不需要在ELK主机上安装Logstash软件包。通过配置Beats服务的配置文件，来收集不同服务的日志。当然这样有一定的弊端，受限于资源条件，目前先这么搞。
1.在客户机安装filebeat软件

rpm -vih filebeat-7.7.0-x86_64.rpm

2.修改 /etc/filebeat/filebeat.yml配置信息：

- type: log

    enabled: true    #开启，由false变成true

    paths:    - /var/log/*.log   #默认系统日志路径    #- c:\programdata\elasticsearch\logs\*

 
#=========Filebeat modules ================

filebeat.config.modules:  
    path: ${path.config}/modules.d/*.yml

    reload.enabled: flase

#===== Elasticsearch template setting =================

setup.template.settings:  
    index.number_of_shards: 1  

#============== Kibana ======================
setup.kibana:
    host: "10.0.0.169:5601"     #添加上kibana的主机IP
#-------------------------- Elasticsearch output ------------------------------
output.elasticsearch:  
    hosts: ["10.0.0.169:9200"]      #Elasticsearch主机的IP地址
    username: "es"                  #启动elasticsearch的用户  
    password: "harlan-herine"       #启动elasticsearch的用户的密码

#----------------------------- Logstash output --------------------------------
output.logstash:  
    hosts: ["localhost:5044"]

3.启用和配置nginx模块来收集nginx日志
filebeat modules enable nginx
4.在 /etc/filebeat/modules.d/nginx.yml 文件中修改设置

[root@harlan-web ~]# vim /etc/filebeat/modules.d/nginx.yml 
  1 # Module: apache
  2 # Docs: https://www.elastic.co/guide/en/beats/filebeat/7.3/filebeat-module-apache.html
  3  
  4 - module: nginx
  5   # Access logs
  6   access:
  7     enabled: true
  8  　　var.paths: ["/application/nginx/logs/*"]             #nginx日志存放目录
  9     # Set custom paths for the log files. If left empty,                                                                                   
 10     # Filebeat will choose the paths depending on your OS.
 11     #var.paths:
 12  
 13   # Error logs
 14   error:
 15     enabled: true
 16  
 17     # Set custom paths for the log files. If left empty,
 18     # Filebeat will choose the paths depending on your OS.
 19     #var.paths:

5.用setup 命令加载 Kibana 仪表板
filebeat setup
6.启动 Filebeat
systemctl start filebeat
7.打开浏览器可以看到日志数据

nginx日志列表.png

单机部署ELK就记录到此，具体如何与实际运维紧密结合还需要进一步摸索。