ELK集群搭建(基础教程)

ELK集群搭建(基础教程)

目录：

机器准备

集群内各台机器安装Elasticsearch

安装部署Kafka（注：每个节点都配置，注意ip不同）

安装logstash工具

安装filebeat

ELK收集Nginx的json日志

ELK收集Nginx正常日志和错误日志

ELK收集Tomcat日志

ELK收集docker日志

配置filebeat收集单个docker日志

modules日志收集

使用redis作为缓存收集日志

使用Kafka做缓存收集日志

机器准备

172.20.26.204   node01

172.20.26.207   node02

172.20.26.208   node03

系统版本：CentOS Linux release 7.9.2009 (Core)

#各台服务器安装基础工具软件，系统更新

yum install vim net-tools epel-release wget -y

yum update

#修改每台服务器的hostname

hostnamectl set-hostname node01    #172.20.26.204

hostnamectl set-hostname node02    #172.20.26.207

hostnamectl set-hostname node03    #172.20.26.208

分别在 172.20.26.204、172.20.26.207、172.20.26.208服务器上配置域名映射

[root@node01 ~]# vim /etc/hosts

[root@node02 ~]# vim /etc/hosts

[root@node03 ~]# vim /etc/hosts

172.20.26.204 node01 

172.20.26.207 node02 

172.20.26.208 node03

关闭selinux、firewalld防火墙

[root@bogon ~]# vim /etc/selinux/config

[root@bogon ~]# systemctl stop firewalld

[root@bogon ~]# systemctl disable firewalld

一、集群内各台机器安装Elasticsearch

1、下载Elasticsearch的安装包

官方地址：https://www.elastic.co/cn/downloads/past-releases#elasticsearch

2、Elasticsearch安装（每台机器都执行）

#下载安装包存放在/data/software/目录

[root@node01 /]# mkdir -p /data/software && cd /data/software #创建并进入/data/software

[root@node02 /]# mkdir -p /data/software && cd /data/software #创建并进入/data/software

[root@node03 /]# mkdir -p /data/software && cd /data/software #创建并进入/data/software

wget -c https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-8.9.0-x86_64.rpm

linux开发java环境可能和elasticsearch java环境冲突，因为 elasticsearch 需要JDK才可以 ，所需需要指定elasticsearch的java环境，给它配置一个特定的java环境运行，下载JDK，然后解压即可。

Elasticsearch 和 JVM 兼容性版本查询地址如下：

https://www.elastic.co/cn/support/matrix#matrix_jvm

版本选择推荐及总结

1、ES 7.x 及之前版本，选择 Java 8

2、ES 8.x 及之后版本，选择 Java 17 或者 Java 18，建议 Java 17，因为对应版本的 Logstash 不支持 Java 18

3、Java 9、Java 10、Java 12 和 Java 13 均为短期版本，不推荐使用

4、M1（Arm） 系列 Mac 用户建议选择 ES 7.8.x 以上版本，因为考虑到 ELK 不同产品自身兼容性，7.8.x以上版本原生支持 Arm 原生 JDK

wget -c https://download.oracle.com/java/17/latest/jdk-17_linux-aarch64_bin.tar.gz

tar -zxf jdk-17_linux-aarch64_bin.tar.gz   #各服务器均需安装jdk

下载后可以拷贝到其他服务器的/data/software目录下

#安装

[root@node01 software]# rpm -ivh elasticsearch-8.9.0-x86_64.rpm

[root@node02 software]# rpm -ivh elasticsearch-8.9.0-x86_64.rpm

[root@node03 software]# rpm -ivh elasticsearch-8.9.0-x86_64.rpm

警告：elasticsearch-8.9.0-x86_64.rpm: 头V4 RSA/SHA512 Signature, 密钥 ID d88e42b4: NOKEY

准备中...                          ################################# [100%]

Creating elasticsearch group... OK

Creating elasticsearch user... OK

正在升级/安装...

   1:elasticsearch-0:8.9.0-1          ################################# [100%]

--------------------------- Security autoconfiguration information ------------------------------

Authentication and authorization are enabled.

TLS for the transport and HTTP layers is enabled and configured.

The generated password for the elastic built-in superuser is : 9gVL6ve8ARLwwJibai8Z

If this node should join an existing cluster, you can reconfigure this with

'/usr/share/elasticsearch/bin/elasticsearch-reconfigure-node --enrollment-token '

after creating an enrollment token on your existing cluster.

You can complete the following actions at any time:

Reset the password of the elastic built-in superuser with

'/usr/share/elasticsearch/bin/elasticsearch-reset-password -u elastic'.

Generate an enrollment token for Kibana instances with

 '/usr/share/elasticsearch/bin/elasticsearch-create-enrollment-token -s kibana'.

Generate an enrollment token for Elasticsearch nodes with

'/usr/share/elasticsearch/bin/elasticsearch-create-enrollment-token -s node'.

-------------------------------------------------------------------------------------------------

### NOT starting on installation, please execute the following statements to configure elasticsearch service to start automatically using systemd

 sudo systemctl daemon-reload

 sudo systemctl enable elasticsearch.service

### You can start elasticsearch service by executing

 sudo systemctl start elasticsearch.service

172.20.26.204服务器上的elasticsearch安装完成。其他节点同样操作即可。

HOME: /usr/share/elasticsearch

配置：/etc/elasticsearch

日志：/var/log/elasticsearch/

数据：/data/elasticsearch

配置2：/etc/sysconfig/elasticsearch

#查看elasticsearch配置文件目录

[root@node01 software]# rpm -qc elasticsearch

/etc/elasticsearch/elasticsearch-plugins.example.yml

/etc/elasticsearch/elasticsearch.yml

/etc/elasticsearch/jvm.options

/etc/elasticsearch/log4j2.properties

/etc/elasticsearch/role_mapping.yml

/etc/elasticsearch/roles.yml

/etc/elasticsearch/users

/etc/elasticsearch/users_roles

/etc/sysconfig/elasticsearch

/usr/lib/sysctl.d/elasticsearch.conf

/usr/lib/systemd/system/elasticsearch.service

#修改 elasticsearch 下的bin/elasticsearch（各服务器均需操作）

#在首行添加

#配置自己的jdk17

vim /usr/share/elasticsearch/bin/elasticsearch

export JAVA_HOME=/data/software/jdk-17.0.8

export PATH=$JAVA_HOME/bin:$PATH

#添加jdk判断

if [ -x "$JAVA_HOME/bin/java" ]; then

        JAVA="/data/software/jdk-17.0.8 /bin/java"

else

为后面es集群设置，每个节点操作如下：

#编辑elasticsearch.yml配置文件

vim /etc/elasticsearch/elasticsearch.yml

grep "^[a-Z]" /etc/elasticsearch/elasticsearch.yml

cluster.name: es_cluster     #集群名称，各节点要一致

node.name: node01            #节点名称，同一个集群内所有节点的节点名称不能重复     

path.data: /data/elasticsearch      #将es的数据存在该目录，注意创建该目录

path.logs: /var/log/elasticsearch  #日志目录,会创建以集群名称的一个日志目录   eg:es-app.log

bootstrap.memory_lock: true                                          #内存锁定

network.host: 0.0.0.0                                          #绑定监听地址

http.port: 9200                                                           #默认端口号

discovery.seed_hosts: ["172.20.26.204", "172.20.26.207","172.20.26.208"]

cluster.initial_master_nodes: ["node01","node02","node03"]

xpack.security.enabled: false

xpack.security.enrollment.enabled: true

xpack.security.http.ssl:

xpack.security.transport.ssl:

http.host: 0.0.0.0

transport.host: 0.0.0.0

 

vim /etc/systemd/system.conf  #每个节点操作一遍

DefaultLimitNOFILE=65536

DefaultLimitNPROC=32000

DefaultLimitMEMLOCK=infinity

保存, 重启系统

#创建es数据存储目录

[root@node01 software]# mkdir -p /data/elasticsearch

[root@node02 software]# mkdir -p /data/elasticsearch

[root@node03 software]# mkdir -p /data/elasticsearch

# 创建证书目录

[root@node01 software]#mkdir -p /etc/elasticsearch/certs

[root@node01 bin]# vim /etc/elasticsearch/jvm.options

#去掉以下注释并顶格，各个节点均需操作

-Xms2g  #默认是4g，可以根据自己情况适当调整大小，例如，1g、2g

-Xmx2g  #默认是4g，可以根据自己情况适当调整大小，例如，1g、2g

#es因为安全问题拒绝使用root用户启动（各节点均需操作）

解决方法:

1.添加用户组es、创建用户es并设置密码

groupadd es

useradd es -g es -p 1qaz2wsx    # -g 指定组 -p 设置密码为1qaz2wsx

2.添加目录拥有权限

更改 elasticsearch文件夹及内部文件的所属用户及组为es，如果是编译安装或者是二进制安装的话，可能只有一个目录。

[root@node01 ~]# find / -name elasticsearch

/etc/sysconfig/elasticsearch

/etc/elasticsearch

/var/lib/elasticsearch

/var/log/elasticsearch

/usr/share/elasticsearch

/usr/share/elasticsearch/bin/elasticsearch

/data/elasticsearch

# -R 处理指定目录以及其子目录下的所有文件权限赋予es用户及es组

chown es:es -R /etc/sysconfig/elasticsearch /etc/elasticsearch /var/lib/elasticsearch /var/log/elasticsearch /usr/share/elasticsearch /data/elasticsearch

解决Elasticsearch集群开启账户密码安全配置自相矛盾的坑

1. 生成CA证书

在第一台服务器节点 node01 设置集群多节点通信密钥，使用 elasticsearch-certutil 工具为您的集群生成 CA。

[root@node01 ~]# cd /usr/share/elasticsearch/bin/

[root@node01 bin]# ./elasticsearch-certutil ca

a.出现提示时，接受默认文件名，即 elastic-stack-ca.p12。此文件包含 CA 的公共证书和用于为每个节点签署证书的私钥。

b.输入 CA 的密码。如果不部署到生产环境，您可以选择将密码留空，这里输入的密码为1qaz2wsx

2、配置CA证书

用 ca 证书签发节点证书，为集群中的节点生成证书和私钥。包括在上一步中生成的 elastic-stack-ca.p12 输出文件。

[root@node01 bin]# ./elasticsearch-certutil cert --ca elastic-stack-ca.p12

根据提示

a.输入您的 CA 的密码，请按 Enter。

b.为证书创建密码并接受默认文件名。创建的密码为1qaz2wsx

输出文件是一个名为 elastic-certificates.p12 的密钥库。此文件包含节点证书、节点密钥和 CA 证书。

将生成的证书文件移动到证书目录中（/etc/elasticsearch/certs）

[root@node01 bin]# mv /usr/share/elasticsearch/elastic-certificates.p12 /etc/elasticsearch/certs/

3、复制证书到集群

在集群中的每个节点上，将 elastic-certificates.p12 文件复制到 证书目录中/etc/elasticsearch/certs

[root@node01 certs]# scp elastic-certificates.p12 [email protected]:/etc/elasticsearch/certs/

[root@node01 certs]# scp elastic-certificates.p12 [email protected]:/etc/elasticsearch/certs/

[root@node01 certs]# chown es:es -R /etc/elasticsearch  #各个节点再次给/etc/elasticsearch 赋权给es用户和组

4、修改配置文件（需要注意的是：格式一定要对齐，否则会报错）

vim /etc/elasticsearch/elasticsearch.yml    #各个节点打开配置文件进行修改

a.基本集群配置，不启用安全也需要的配置

cluster.name: es_cluster  #每个节点一致

node.name: node01  #每个节点不同

b.安全配置

由于在群集的每个节点上使用相同的Elastic-Certificate.p12文件，因此将验证模式设置为证书：

xpack.security.transport.ssl.enabled: true

xpack.security.transport.ssl.verification_mode: certificate

xpack.security.transport.ssl.client_authentication: required

xpack.security.transport.ssl.keystore.path: /etc/elasticsearch/certs/elastic-certificates.p12

xpack.security.transport.ssl.truststore.path: /etc/elasticsearch/certs/elastic-certificates.p12

5、配置密码

如果在创建节点证书时输入了密码，运行以下命令以将密码存储在Elasticsearch密钥库中：

[root@node01 ~]# su es    #切换到es用户下执行

[es@node01 elasticsearch]$ cd /usr/share/elasticsearch/bin  #各服务器切换到elasticsearch的bin目录下，密码设置为1qaz2wsx

[es@node01 bin]$

./elasticsearch-keystore add xpack.security.transport.ssl.keystore.secure_password

./elasticsearch-keystore add xpack.security.transport.ssl.truststore.secure_password

./elasticsearch-keystore add xpack.security.http.ssl.keystore.secure_password

./elasticsearch-keystore add xpack.security.http.ssl.truststore.secure_password

也可以自动生成随机密码，elasticsearch-setup-passwords auto

4-5的步骤在每个节点中都需要进行。

密码设置为1qaz2wsx

6、重新启动es服务

在es用户下，node01、node02、node03的elasticsearch服务重启

[root@node01 ~]# su es

[es@node01 root]$ cd /usr/share/elasticsearch/bin/

[es@node01 bin]$./elasticsearch -d    #后台方式启动

Node03也可以用同样方法启动。

后面也可以创建elasticsearch.sh脚本来启动：

mkdir -p /data/sh && cd /data/sh

vim /data/sh/elasticsearch.sh

#!/bin/bash

sudo -u es bash << EOF

cd /usr/share/elasticsearch/bin

./elasticsearch -d

EOF

保存退出

脚本说明：其中，普通用户名称需要替换为实际的普通用户名称。在脚本中使用sudo -u命令可以切换到指定的用户下执行命令，<< EOF和EOF之间的代码块是在普通用户下执行的命令。执行完普通用户下的命令后，脚本会自动切换回root用户，继续执行后续的命令。

[root@node01 sh]# chmod +x /data/sh/elasticsearch.sh #赋予/data/sh/elasticsearch.sh 可执行权限

[root@node01 sh]# sh elasticsearch.sh  #在root用户下，执行elasticsearch.sh启动脚本

[root@node01 sh]# ./elasticsearch.sh

/var/tmp/scl5h41LI: line 8: -u: command not found

 

9200、9300端口开启，Elasticsearch 服务启动完成。

同时将elasticsearch.sh脚本文件拷贝到其他节点对应的目录下，执行elasticsearch.sh启动服务。

[root@node01 sh]# scp elasticsearch.sh [email protected]:/data/sh/

[root@node01 sh]# scp elasticsearch.sh [email protected]:/data/sh/

node02、node03节点上的elasticsearch服务均已启动。

将elasticsearch.sh启动添加到开机启动中，各个节点均需执行

1、编辑启动文件

[root@node01 sh]# vim /etc/rc.d/rc.local  #添加以下内容

/data/sh/elasticsearch.sh

保存退出

[root@node01 sh]# chmod +x /etc/rc.d/rc.local   #添加可执行权限

[root@node01 sh]# systemctl restart rc-local.service

[root@node01 sh]# systemctl status rc-local.service

# 如需指定用户启动 请使用如下方式：su - username -c “your-cammand”

/bin/su - es -c '/data/sh/elasticsearch.sh'  

保存退出

[root@node01 sh]#chmod +x /etc/rc.d/rc.local  #添加可执行权限

systemctl restart rc-local.service && systemctl status rc-local.service #重启并查看状态

报错：es用户权限不够，需要提升权限

在root用户下查看/etc/sudoers文件权限，如果是只读权限，修改为可写权限

[root@node01 sh]# ll /etc/sudoers  #查看/etc/sudoers文件权限

-r--r-----. 1 root root 4328 9月  30 2020 /etc/sudoers   #只有只读权限

[root@node01 sh]# chmod u+w /etc/sudoers   #修改为可写权限

[root@node01 sh]# ll /etc/sudoers   #再次查看/etc/sudoers文件权限

-rw-r-----. 1 root root 4328 9月  30 2020 /etc/sudoers   #增加了可写权限

[root@node01 sh]# vim /etc/sudoers   #编辑/etc/sudoers文件，在root    ALL=(ALL)       ALL的下一行添加代码es    ALL=(ALL)       ALL

保存退出

[root@node01 sh]# chmod 440 /etc/sudoers  #恢复/etc/sudoers的权限为440

[root@node01 sh]# ll /etc/sudoers

-r--r----- 1 root root 4354 9月   6 10:23 /etc/sudoers

[root@node01 sh]# systemctl restart rc-local.service   #重启rc-local服务

[root@node01 sh]# systemctl status rc-local.service   #查看rc-local状态，然后重启服务器，验证elasticsearch.sh开机启动。

完成elasticsearch.sh脚本开机自动执行成功。

其他节点同样操作即可完成elasticsearch.sh脚本开机自动执行。

3、检查ES集群部署

各个节点修改elasticsearch.yml

vim /etc/elasticsearch/elasticsearch.yml

# 指定集群名称3个节点必须一致 cluster.name: es_cluster

#指定节点名称，每个节点名字唯一 node.name: node01

#是否有资格为master节点，默认为true，node.master: true

#是否为data节点，默认为true，node.data: true

# 绑定ip,开启远程访问,可以配置0.0.0.0,这里也可以配ip地址 network.host: 0.0.0.0

#指定web端口 #http.port: 9200

#指定tcp端口 #transport.tcp.port: 9300

#用于节点发现,如果你不配域名映射，直接用ip也是可以的 discovery.seed_hosts: ["node01", "node02", "node03"]

如果后期有新节点加入，新节点的 discovery.seed_hosts 没必要包含所有的节点，只要它里面包含集群中已有的节点信息，新节点就能发现整个集群了。

#7.0新引入的配置项,初始仲裁，仅在整个集群首次启动时才需要初始仲裁。

#该选项配置为node.name的值，指定可以初始化集群节点的名称,每个节点的名称 cluster.initial_master_nodes: ["node01","node02","node03"]

因此当您在生产模式下第一次启动全新的群集时，你必须显式列出符合资格的主节点。也就是说，需要使用 cluster.initial_master_nodes 设置来设置该主节点列表。重新启动集群或将新节点添加到现有集群时，你不应使用此设置。

cluster.initial_master_nodes 该配置项并不是需要每个节点设置保持一致，设置需谨慎，如果其中的主节点关闭了，可能会导致其他主节点也会关闭。因为一旦节点初始启动时设置了这个参数，它下次启动时还是会尝试和当初指定的主节点链接，当链接失败时，自己也会关闭！

因此，为了保证可用性，预备做主节点的节点不用每个上面都配置该配置项！保证有的主节点上就不设置该配置项，这样当有主节点故障时，还有可用的主节点不会一定要去寻找初始节点中的主节点！

注意：第一次成功形成集群后，从每个节点的配置中删除 cluster.initial_master_nodes 设置。重新启动集群或向现有集群添加新节点时，请勿使用此设置。

Node01

[es@node01 bin]$ grep "^[a-Z]" /etc/elasticsearch/elasticsearch.yml

cluster.name: es_cluster

node.name: node01

path.data: /data/elasticsearch

path.logs: /var/log/elasticsearch

bootstrap.memory_lock: true

network.host: 0.0.0.0

http.port: 9200

discovery.seed_hosts: ["172.20.26.204", "172.20.26.207","172.20.26.208"]

cluster.initial_master_nodes: ["node01", "node02","node03"]

xpack.security.enabled: false

xpack.security.enrollment.enabled: true

xpack.security.http.ssl:

xpack.security.transport.ssl:

http.host: 0.0.0.0

transport.host: 0.0.0.0

Node02

[es@node02 bin]$ grep "^[a-Z]" /etc/elasticsearch/elasticsearch.yml

cluster.name: es_cluster

node.name: node02

path.data: /data/elasticsearch

path.logs: /var/log/elasticsearch

bootstrap.memory_lock: true

network.host: 0.0.0.0

http.port: 9200

discovery.seed_hosts: ["172.20.26.204", "172.20.26.207","172.20.26.208"]

cluster.initial_master_nodes: ["node01", "node02","node03"]

xpack.security.enabled: false

xpack.security.enrollment.enabled: true

xpack.security.http.ssl:

xpack.security.transport.ssl:

http.host: 0.0.0.0

transport.host: 0.0.0.0

Node03

[es@node03 bin]$ grep "^[a-Z]" /etc/elasticsearch/elasticsearch.yml

cluster.name: es_cluster

node.name: node03

path.data: /data/elasticsearch

path.logs: /var/log/elasticsearch

bootstrap.memory_lock: true

network.host: 0.0.0.0

http.port: 9200

discovery.seed_hosts: ["172.20.26.204", "172.20.26.207","172.20.26.208"]

cluster.initial_master_nodes: ["node01", "node02","node03"]

xpack.security.enabled: false

xpack.security.enrollment.enabled: true

xpack.security.http.ssl:

xpack.security.transport.ssl:

http.host: 0.0.0.0

transport.host: 0.0.0.0

三台机器的elasticsearch服务均已启动，然后访问随意一台机器即可，例如：172.20.26.204:9200，出现如下就说明访问成功了。

172.20.26.204:9200/_cat/nodes  #查看集群状态

设置账号

在使用它们之前，我们必须为它们设置一个账号，切换到 Elasticsearch的bin目录下

[root@node01 elasticsearch]# su es

[es@node01 elasticsearch]$ cd /usr/share/elasticsearch/bin

[es@node01 bin]$ ./elasticsearch-users useradd es -r superuser  #设置es用户并赋予超级用户角色

然后输入两次密码，1qaz2wsx

在浏览器地址输入：172.20.26.204:9200 ，输入刚才创建的用户es和密码1qaz2wsx，

向集群中创建一些索引、数据

创建索引

[root@node01 elasticsearch]# curl -XPUT '172.20.26.204:9200/vipinfo?pretty'

{

  "acknowledged" : true,

  "shards_acknowledged" : true,

  "index" : "vipinfo"

}

在各节点上查看集群状态

[root@node01 elasticsearch]# curl -XGET 'http://localhost:9200/_cat/nodes'

也可以在浏览器中查看集群状态

172.20.26.208:9200/_cat/nodes

查看集群健康状态：

[es@node01 bin]$ curl -XGET 'http://localhost:9200/_cluster/health'

./elasticsearch-reset-password -u elastic -i   #重置elastic(内置超级用户账号)

ERROR: Failed to determine the health of the cluster

后续再排查elastic账号密码重置的问题

4、安装Elasticsearch-head插件（可视化插件）, 安装在master上即可

安装ES可视化插件ES-head前需安装node.js

#安装node.js

官网地址：Node.js — Download

下载解压(右键复制链接)

[root@node01 ~]# cd /data/software/

[root@node01 software]# wget https://nodejs.org/dist/v18.17.1/node-v18.17.1-linux-x64.tar.xz

[root@node01 software]# tar -xf node-v18.17.1-linux-x64.tar.xz

然后我们再配置环境变量：

vi /etc/profile

在最后加上：

export NODE_HOME=/data/software/node-v18.17.1-linux-x64

export PATH=$NODE_HOME/bin:$PATH

保存，再执行

source /etc/profile  让环境变量生效

node -v   #查看版本

npm -v   #查看版本

#phantomjs 官网     Download PhantomJS

[root@node01 software]#wget https://bitbucket.org/ariya/phantomjs/downloads/phantomjs-2.1.1-linux-x86_64.tar.bz2

#以下两个如果已经装过可忽略

yum -y install bzip2

yum -y install fontconfig-devel

[root@node01 software]#tar -xvjf  phantomjs-2.1.1-linux-x86_64.tar.bz2

#创建软连接

ln -s /data/software/node-v18.17.1-linux-x64/bin/node /usr/local/bin/node

ln -s /data/software/node-v18.17.1-linux-x64/bin/npm /usr/local/bin/npm

ln -s /data/software/phantomjs-2.1.1-linux-x86_64/bin/phantomjs /usr/local/bin/phantomjs

#查看版本

node -vnpm -vphantomjs --version

node: /lib64/libm.so.6: version `GLIBC_2.27' not found (required by node)

node: /lib64/libc.so.6: version `GLIBC_2.25' not found (required by node)

node: /lib64/libc.so.6: version `GLIBC_2.28' not found (required by node)

node: /lib64/libstdc++.so.6: version `CXXABI_1.3.9' not found (required by node)

node: /lib64/libstdc++.so.6: version `GLIBCXX_3.4.20' not found (required by node)

node: /lib64/libstdc++.so.6: version `GLIBCXX_3.4.21' not found (required by node)

# 查看系统内安装的glibc版本

strings /lib64/libc.so.6 |grep GLIBC_

[root@node01 build]# rpm -qa | grep glibc

glibc-headers-2.17-326.el7_9.x86_64

glibc-common-2.17-326.el7_9.x86_64

glibc-2.17-326.el7_9.x86_64

glibc-devel-2.17-326.el7_9.x86_64

#安装gcc-8.2.0所依赖的环境

#a

[root@node01 usr]# yum install zlib-devel pcre-devel bison bzip2 gcc gcc-c++ glibc-headers -y    #安装相关依赖包

#b升级GNU Make 3.82到4.3

yum install centos-release-scl -y

yum install devtoolset-8 -y

scl enable devtoolset-8 -- bash

# 设置环境变量

echo "source /opt/rh/devtoolset-8/enable" >> /etc/profile

source /etc/profile

#b升级make

还是进入root目录下

cd /root

wget https://ftp.gnu.org/gnu/make/make-4.3.tar.gz

tar -xzvf make-4.3.tar.gz && cd make-4.3/

# 安装到指定目录

./configure  --prefix=/usr/local/make

make -j 4 && make install

# 创建软链接

cd /usr/bin/ && mv make make.bak

ln -sv /usr/local/make/bin/make /usr/bin/make

cd /root

# 编译安装  (如果编译失败了，可以使用make clean清除已编译的内容，再重新编译、安装)

wget http://ftp.gnu.org/gnu/glibc/glibc-2.28.tar.gz

tar -xf glibc-2.28.tar.gz

cd glibc-2.28/ && mkdir build && cd build

../configure --prefix=/usr --disable-profile --enable-add-ons --with-headers=/usr/include --with-binutils=/usr/bin

[root@node01 build]#make -j 4 && make install

[root@node01 software]#wget https://cdn.frostbelt.cn/software/libstdc%2B%2B.so.6.0.26

[root@node01 software]# cp libstdc++.so.6.0.26 /usr/lib64/

[root@node01 software]# cd /usr/lib64/

[root@node01 lib64]# ln -snf ./libstdc++.so.6.0.26 libstdc++.so.6

[root@node01 build]# node -vnpm -vphantomjs --version  #查看版本

#假如Node01 重启后，使用ssh远程登录，出现如下告警信息：

-bash: 警告:setlocale: LC_TIME: 无法改变区域选项 (zh_CN.UTF-8)

原因分析：

系统已经设置了默认地区_语言.字符集为zh_CN.UTF-8,但是在系统中没有定义对应的locale文件，所以只需要手动生成这个locale文件即可！

解决办法：

1）# vim /etc/environment #添加下面两行内容

LANG="zh_CN.UTF-8"

LC_ALL=

2）source这个文件内容:

# source /etc/environment

3）# vim /etc/sysconfig/i18n

LANG="zh_CN.UTF-8"

4）然后执行如下命令，生成 en_US.UTF-8这个字符集对应的locale文件：

# localedef -v -c -i zh_CN -f UTF-8 zh_CN.UTF-8

下载安装ES-head插件

电脑上浏览器打开

https://download.csdn.net/download/weixin_41879185/87749515?utm_source=bbsseo

点击“立即下载”，完成后将elasticsearch-head.zip上传到服务器的/data/software/目录下

[root@node01 ~]# cd /data/software/

[root@node01 software]#unzip elasticsearch-head.zip #解压elasticsearch-head.zip包

[root@node01 software]# cd elasticsearch-head   #进入到elasticsearch-head目录

npm install

npm run start

nohup grunt server &  # #重新后台运行head插件服务,这个要注意，一定要在插件也就是上方的目录的根目录下，执行此条命令才可以。

nohup npm run start &  #使用grunt方式后台运行启动

npm install -g grunt-cli

grunt server &netstat -tulnp| grep 9100

http://172.20.26.204:9100/，显示集群健康值: 未连接

原因是：因为给ES配置了加密，用之前的访问链接访问不到，访问的时候需要用户认证。

[root@node01 software]# vim /etc/elasticsearch/elasticsearch.yml

http.cors.enabled: true                           # 开启跨域访问支持，默认为false

http.cors.allow-origin: "*"                        # 跨域访问允许的域名地址

http.cors.allow-headers: Authorization,Content-Type

保存退出

保存文件后重启 elasticsearch 和 elasticsearch-head

[root@node01 bin]# cd /data/software/elasticsearch-head

[root@node01 elasticsearch-head]# nohup npm run start &  #后台启动运行

http://172.20.26.204:9100/?auth_user=es&auth_password=1qaz2wsx   

#浏览器中打开，使用es用户和密码1qaz2wsx  #前面已创建完成，后面也可以使用http://172.20.26.204:9100/来打开

创建elasticsearch-head启动脚本

#!/ban/bash

cd /data/software/elasticsearch-head

nohup npm run start &

保存退出

chmod +x /data/sh/es_head.sh  #将脚本添加可执行权限

vim /etc/rc.d/rc.local  #把脚本添加到开机启动服务

chmod +x /etc/rc.d/rc.local

systemctl restart rc-local.service

systemctl status rc-local.service

二、安装Kibana（各节点上安装配置）

在node01节点上

#下载kibana-8.9.1-linux-x86_64.tar.gz包

[root@node01 certs]# cd /data/software   #进入软件存放目录

wget -c https://artifacts.elastic.co/downloads/kibana/kibana-8.9.1-linux-x86_64.tar.gz

#各个节点安装kibana-8.9.1-linux-x86_64.tar.gz包

tar -zxf kibana-8.9.1-linux-x86_64.tar.gz

#各个节点修改Kibana配置文件

vim /data/software/kibana-8.9.1/config/kibana.yml

[root@node01 software]# grep "^[a-Z]" /data/software/kibana-8.9.1/config/kibana.yml

server.port: 5601   # 站点端口号

server.host: "172.20.26.204"

server.name: "node01"

elasticsearch.hosts: ["http://localhost:9200"]

i18n.locale: "zh-CN"

kibana.index: ".kibana"

[root@node01 bin]# chown -R es:es /data/software/kibana-8.9.1  #将整个kibana-8.9.1目录更改属组为es用户和组

#启动Kibana&&查看服务状态&&通过IP访问界面

[root@node01 bin]#./kibana --allow-root  #kibana不建议以root用户启动，如果用root启动，需要加--allow-root，我们这里用es用户来启动kibana服务

[root@node01 bin]# su es

[es@node01 bin]$ ./kibana  #前台启动kibana服务

[es@node01 bin]$nohup ./kibana &    #也可以将Kibana服务的后台启动

[es@node01 bin]$ tail -f /home/es/nohup.out   #查看kibana的日志

打开http://172.20.26.204:5601 ，点击“自己浏览”。

稍等一会

这里你就可以看到集群的状态看，退出右上角“设置模式”，点击nodes就可以查看到节点状态，你可以随便点点就知道能浏览查看什么数据了，这里不再过多介绍。

如果你想管理索引，点击左边菜单栏，点击最底下的Stack Management，找到索引管理，里面的功能基本上就可以对ES上的数据进行操作了 。

#设置开机启动kiban服务

创建启动脚本

vim /data/sh/kibana.sh   #因kibana 用的是非root用户运行，这里我们使用前面创建的es用户运行

#!/bin/bash

sudo -u es bash << EOF

cd /data/software/kibana-8.9.1/bin

nohup ./kibana &

EOF

保存退出

chmod +x /data/sh/kibana.sh  #添加可执行权限

vim /etc/rc.d/rc.local

保存退出

chmod +x /etc/rc.d/rc.local

systemctl restart rc-local.service

systemctl status rc-local.service

节点node02、node03上进行同样的设置。

scp /data/sh/kibana.sh [email protected]:/data/sh  #将脚本拷贝到node02相应路径下

scp /data/sh/kibana.sh [email protected]:/data/sh  #将脚本拷贝到node03相应路径下

chmod +x /data/sh/kibana.sh  #添加可执行权限

vim /etc/rc.d/rc.local  #添加/data/sh/kibana.sh执行命令

/data/sh/kibana.sh

保存退出

chmod +x /etc/rc.d/rc.local  #添加可执行权限

systemctl restart rc-local.service

systemctl status rc-local.service

三、安装logstash工具

#官网下载

https://www.elastic.co/cn/downloads/past-releases

选择产品Logstash，选择合适的版本即可，因为我们的前面安装配置的是elasticsearch-8.9.0-x86_64，所以我们也尽量安装相同版本的Logstash

点击“Download”，右键“LINUX X86_64”，复制链接

cd /data/software #进入/data/software，将安装包下载到这里

wget -c https://artifacts.elastic.co/downloads/logstash/logstash-8.9.0-linux-x86_64.tar.gz

[root@node01 software]# tar -zxf logstash-8.9.0-linux-x86_64.tar.gz

#安装结果测试

执行以下命令：

cd /data/software/logstash-8.9.0

bin/logstash -e 'input { stdin { } } output { stdout {} }'

看到这样的输出结果，说明Logstash 安装是成功的。

#将ES的证书复制到Logstash目录。因为我们的ES使用的HTTPS访问认证， Logstash要发送日志到ES时，需要进行证书认证。

[root@node01 logstash-8.9.0]# cp -r /etc/elasticsearch/certs /data/software/logstash-8.9.0/

#添加一个配置文件，以收集操作系统日志作为例子

vim /data/software/logstash-8.9.0/systemlog.conf

input {

   tcp {

      port=> 9900

     }

}

    filter {

     grok {

     match => { “message" => "%{COMBINEDAPACHELOG}" }

}

mutate {

convert => {

   “bytes” => “integer”

}

}

 geoip {

   source => “clientip”

   target => “clientgeo”

}

useragent {

  source => “agent”

  target => “useragent”

    }

}

output {

  stdout { }

    

 elasticsearch {

        hosts  => ["http://172.20.26.204:9200","http://172.20.26.207:9200","http://172.20.26.208:9200"]

       index  => "logstash}"

      user  => "es"

      password  => "1qaz2wsx"

        }

}

#收集日志。运行日志收集脚本，开始收集日志，并查看日志

执行日志收集命令：

[root@node01 certs]#/data/software/logstash-8.9.0/bin/logstash -f /data/software/logstash-8.9.0/systemlog.conf

cd /etc/logstash/conf.d

vim nginx_log.conf

input {

  redis {

    host => "10.20.1.114"

    port => "6379"

    db => "0"

    key => "nginx_access"

    data_type => "list"

  }

  redis {

    host => "10.20.1.114"

    port => "6379"

    db => "0"

    key => "nginx_error"

    data_type => "list"

  }

}

​

filter {

  mutate {

    convert => ["upstream_time", "float"]

    convert => ["request_time", "float"]

  }

}

​

output {

   stdout {}

   if "access" in [tags] {

      elasticsearch {

        hosts => "http://10.20.1.114:9200"

        manage_template => false

        index => "nginx_access-%{+yyyy.MM}"

      }

    }

    if "error" in [tags] {

      elasticsearch {

        hosts => "http://10.20.1.114:9200"

        manage_template => false

        index => "nginx_error-%{+yyyy.MM}"

      }

    }

}

#启动logstash

/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/nginx_log.conf

四、安装filebeat

#官网下载

https://www.elastic.co/cn/downloads/past-releases#   #选择产品Filebeat及其版本

Past Releases of Elastic Stack Software | Elastic

点击“Download”，右键“LINUX X86_64”，复制链接地址

cd /data/software #进入/data/software，将安装包下载到这里

wget -c https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-8.9.0-linux-x86_64.tar.gz

[root@node01 software]# tar -zxf filebeat-8.9.0-linux-x86_64.tar.gz

[root@node01 software]# cd filebeat-8.9.0-linux-x86_64 #进入filebeat目录下

[root@node01 filebeat-8.9.0-linux-x86_64]# vim mogublog.yml  #创建对应的配置文件

filebeat.inputs: # filebeat input输入

- type: stdin    # 标准输入

  enabled: true  # 启用标准输入

setup.template.settings:

  index.number_of_shards: 3 # 指定下载数

output.console:  # 控制台输出

  pretty: true   # 启用美化功能

  enable: true

chmod go-w /data/software/filebeat-8.9.0-linux-x86_64/mogublog.yml

[root@node01 filebeat-8.9.0-linux-x86_64]# ./filebeat -e -c mogublog.yml  # 通过二进制文件来实现filebeat服务启动

#读取文件配置

再次创建一个文件mogublog-log.yml

[root@node01 filebeat-8.9.0-linux-x86_64]#vim mogublog-log.yml

filebeat.inputs:

- type: log

  enabled: true

  paths:

    - /data/software/filebeat-8.9.0-linux-x86_64/logs/*.log

setup.template.settings:

  index.number_of_shards: 3

output.console:

  pretty: true

  enable: true

#添加完成后，我们在到下面目录创建一个日志文件

mkdir -p /data/software/filebeat-8.9.0-linux-x86_64/logs

cd /data/software/filebeat-8.9.0-linux-x86_64/logs

echo "hello" >> a.log

#再次启动filebeat

chmod go-w /data/software/filebeat-8.9.0-linux-x86_64/mogublog-log.yml

./filebeat -e -c mogublog-log.yml

能够发现，它已经成功加载到了我们的日志文件 a.log

echo "are you ok ?" >> a.log

#再次启动filebeat

[root@node01 filebeat-8.9.0-linux-x86_64]# ./filebeat -e -c mogublog-log.yml

nohup ./filebeat -e -c filebeat.yml >/dev/null 2>&1 &   #后台启动filebeat服务

#新建配置文件filebeat_apache.yml

vim /data/software/filebeat-8.9.0-linux-x86_64/filebeat_apache.yml

filebeat.inputs:

- type: log

  enabled: true

  paths:

    - /data/software/filebeat-8.9.0-linux-x86_64/apache_logs/*

output.logstash:

  hosts: ["localhost:5044"]

mkdir -p /data/software/filebeat-8.9.0-linux-x86_64/apache_logs  #创建apache_logs目录

运行Filebeat

cd /data/software/filebeat-8.9.0-linux-x86_64

[root@node01 filebeat-8.9.0-linux-x86_64]# ./filebeat -c filebeat_apache.yml

Exiting: /data/software/filebeat-8.9.0-linux-x86_64/data/filebeat.lock: data path already locked by another beat. Please make sure that multiple beats are not sharing the same data path (path.data)

原因

本机器已经存在filebeat启动，datapath被lock

解决办法

关闭已存在filebeat的进程，然后重新启动

[root@node01 filebeat-8.9.0-linux-x86_64]# ps -ef | grep filebeat

root      1492     1  0 10:33 ?        00:00:04 ./filebeat -e -c filebeat.yml

root     16992  1584  0 16:20 pts/0    00:00:00 grep --color=auto filebeat

[root@node01 filebeat-8.9.0-linux-x86_64]# kill -9 1492  #kill 掉filebeat 进程

[root@node01 filebeat-8.9.0-linux-x86_64]# ./filebeat -c filebeat_apache.yml

就会将日志同步到Logstash。

#输出到ElasticSearch

vim /data/software/filebeat-8.9.0-linux-x86_64/filebeat.yml

我们可以通过配置，将修改成如下所示

filebeat.inputs:

- type: log

  enabled: true

  paths:

    - /data/software/filebeat-8.9.0-linux-x86_64/logs/*.log

  tags: ["web", "test"]

  fields:

    from: test-web

  fields_under_root: false

setup.template.settings:

  index.number_of_shards: 1

output.elasticsearch:

  hosts: ["172.20.26.204:9200"]

启动成功后，我们就能看到它已经成功连接到es了

我们到刚刚的 logs文件夹向 a.log文件中添加内容

[root@node01 ~]# cd /data/software/filebeat-8.9.0-linux-x86_64/logs/

[root@node01 logs]# echo "hello mogublog" >> a.log

在ES中，我们可以看到，多出了一个 filebeat的索引库

然后我们浏览对应的数据，看看是否有插入的数据内容

启动命令

./filebeat -e -c mogublog-es.yml

./filebeat -e -c mogublog-es.yml -d "publish"

参数说明

-e：输出到标准输出，默认输出到syslog和logs下

-c：指定配置文件

-d：输出debug信息

设置开机启动

[root@node01 sh]# vim /data/sh/filebeat.sh  #创建filebeat服务启动脚本

#!/bin/bash

cd /data/software/filebeat-8.9.0-linux-x86_64

nohup ./filebeat -e -c filebeat.yml >/dev/null 2>&1 &

保存退出

chmod +x /data/sh/filebeat.sh

vim /etc/rc.d/rc.local  #/data/sh/filebeat.sh将添加到开机启动

chmod +x /etc/rc.d/rc.local

systemctl restart rc-local.service

systemctl status rc-local.service

五、ELK收集Nginx的json日志

思路：

1、将nginx中的日志以json格式记录

2、filebeat采的时候说明是json格式

3、传入es的日志为json，那么显示在kibana的格式也是json，便于日志管理

1、配置nginx的日志以json格式记录

#修改/etc/nginx/nginx.conf配置文件，加入以下内容，yml文件注意缩进

log_format  json '{ "time_local": "$time_local", '

                           '"remote_addr": "$remote_addr", '

                           '"referer": "$http_referer", '

                           '"request": "$request", '

                           '"status": $status, '

                           '"bytes": $body_bytes_sent, '

                           '"agent": "$http_user_agent", '

                           '"x_forwarded": "$http_x_forwarded_for", '

                           '"up_addr": "$upstream_addr",'

                           '"up_host": "$upstream_http_host",'

                           '"upstream_time": "$upstream_response_time",'

                           '"request_time": "$request_time"'

                    ' }';

access_log  /var/log/nginx/access.log  json;

#重启nginx服务

systemctl restart nginx.service

#再次进行压测&&查看nginx日志是否记录显示为json格式的键值对&&查看可知已是json格式

ab -n 100 -c 100 http://172.20.26.204/

tail -f /var/log/nginx/access.log

2、filebeat采的时候说明是json格式

#备份filebeat配置文件到/root目录下

[root@master soft]# cp /etc/filebeat/filebeat.yml /root/

#修改配置文件

cat > /etc/filebeat/filebeat.yml <

filebeat.inputs:          #输入

- type: log                        #输入类型

  enabled: true

  paths:                            #filebeat采集路径

    - /var/log/nginx/access.log

  #说明input的日志是json格式

  json.keys_under_root: true

  json.overwrite_keys: true

setup.kibana:

  host: "172.20.26.204:5601"

output.elasticsearch: #输出

  hosts: ["172.20.26.204:9200"]

  index: "nginx-%{[beat.version]}-%{+yyyy.MM}"

setup.template.name: "nginx"

setup.template.pattern: "nginx-*"

setup.template.enabled: false

setup.template.overwrite: true

EOF

六、ELK收集Nginx正常日志和错误日志

#编辑filebeat的配置文件，在/etc/filebeat/filebeat.yml加入以下配置

#filebeat输入配置

filebeat.inputs:

- type: log

  enabled: true

  paths:

    - /var/log/nginx/access.log

  #输入为json格式

  json.keys_under_root: true

  json.overwrite_keys: true

  #对正常日志加上access标签

  tags: ["access"]

- type: log

  enabled: true

  paths:

    - /var/log/nginx/error.log

  #对错误日志加上error标签

  tags: ["error"]

setup.kibana:

  host: "172.20.26.204:5601"

#filebeat输入配置

output.elasticsearch:

  hosts: ["172.20.26.204:9200"]

  #index: "nginx-%{[beat.version]}-%{+yyyy.MM}"

  indices:

    #将输入带有access标签输出为这个索引

    - index: "nginx-access-%{[beat.version]}-%{+yyyy.MM}"

      when.contains:

        tags: "access"

    #将输入带有error标签输出为这个索引

    - index: "nginx-error-%{[beat.version]}-%{+yyyy.MM}"

      when.contains:

        tags: "error"

setup.template.name: "nginx"

setup.template.pattern: "nginx-*"

setup.template.enabled: false

setup.template.overwrite: true

#保存退出&&重启filebeat服务&&重新压测数据(访问不存在页面)即可查看到现象

七、ELK收集Tomcat日志

#安装成功tomcat&&启动tomcat&&访问测试（1查看8080默认端口是否开启，2通过IP：8080在浏览器访问观察是否有tomcat官网页面）

yum install tomcat tomcat-webapps tomcat-admin-webapps tomcat-docs-webapp tomcat-javadoc -y

systemctl start tomcat

#修改tomcat日志为json格式

vim /etc/tomcat/server.xml

##删除第139行

139                pattern="%h %l %u %t "%r" %s %b" />

##将以下配置放入到139行

pattern="{"clientip":"%h","ClientUser":"%l","authenticated":"%u","AccessTime":&quo    t;%t","method":"%r","status":"%s","SendBytes":"%b","Query?string":"%q","partn    er":"%{Referer}i","AgentVersion":"%{User-Agent}i"}"/>

##保存退出&&重启服务&&查看日志

systemctl restart tomcat

tail -f /var/log/tomcat/localhost_access_log.2020-09-05.txt

#修改filebeat.yml配置文件

vim /etc/filebeat/filebeat.yml

#在filebeat.inputs:下增加以下配置

##############tomcat##############

- type: log

  enabled: true

  paths:

    - /var/log/tomcat/localhost_access_log.*.txt

  json.keys_under_root: true

  json.overwrite_keys: true

  tags: ["tomcat"]

  #filebeat.outputs:下增加以下配置

    - index: "tomcat-access-%{[beat.version]}-%{+yyyy.MM}"

      when.contains:

        tags: "tomcat"

  #重启服务即可查看到

  systemctl restart filebeat.service

八、ELK收集docker日志

安装docker

curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

wget -O /etc/yum.repos.d/docker-ce.repo https://mirrors.ustc.edu.cn/docker-ce/linux/centos/docker-ce.repo

sed -i 's#download.docker.com#mirrors.tuna.tsinghua.edu.cn/docker-ce#g' /etc/yum.repos.d/docker-ce.repo

yum install docker-ce -y

systemctl start docker

#添加阿里云仓库加速，每个人都可以自己到阿里云官网获取自己的加速registry-mirrors

tee /etc/docker/daemon.json <<-'EOF'

{

  "registry-mirrors": ["https://76rdsfoe.mirror.aliyuncs.com"]

}

EOF

systemctl daemon-reload

systemctl restart docker

#登录docker（阿里云-》容器镜像服务-》访问凭证，该路径下设定固定密码，用作登录docker）

sudo docker login --username=jeffii registry.cn-hangzhou.aliyuncs.com

#紧接着，输入密码你刚设置的密码即可。若一下拉取镜像时提示connect refused的话，可重新登录下docker

#拉取ng镜像

docker pull nginx

docker run --name nginx -p 80:80 -d nginx

docker ps

docker logs -f nginx

九、配置filebeat收集单个docker日志

#获取容器id

/var/lib/docker/containers/

#编辑filebeat.yml配置文件

filebeat.inputs:

- type: docker

  containers.ids:

    - 'e5e90adc1871e0689f5346fac071db90cb462941c8ff4444ceecaec5772bbafa'

  tags: ["docker-nginx"]

output.elasticsearch:

  hosts: ["172.20.26.204:9200"]

  index: "docker-nginx-%{[beat.version]}-%{+yyyy.MM}"

setup.template.name: "docker"

setup.template.pattern: "docker-*"

setup.template.enabled: false

setup.template.overwrite: true

十、modules日志收集

官方参考：

https://www.elastic.co/guide/en/beats/filebeat/6.4/configuration-filebeat-modules.html

十一、使用redis作为缓存收集日志

1、redis安装

复制代码#配置epel源

wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo

#安装redis

yum install redis -y

#修改redis配置文件

vim /etc/redis.conf

bind 172.20.26.204

#启动redis服务

systemctl start redis

2、修改filebeat的配置文件

复制代码#把nginx的日志格式改为json

#修改filebeat的主配置文件

vim /etc/filebeat/filebeat.yml

filebeat.inputs:

- type: log

  enabled: true

  paths:

    - /var/log/nginx/access.log

  json.keys_under_root: true

  json.overwrite_keys: true

  tags: ["access"]

​

- type: log

  enabled: true

  paths:

    - /var/log/nginx/error.log

  tags: ["error"]

​

output.redis:

  hosts: ["172.20.26.204"]

  keys:

    - key: "nginx_access"

      when.contains:

        tags: "access"

    - key: "nginx_error"

      when.contains:

        tags: "error"

​

setup.template.name: "nginx"

setup.template.pattern: "nginx_*"

setup.template.enabled: false

setup.template.overwrite: true

#重启filebeat服务

systemctl restart filebeat

3、检查redis能否收集日志

复制代码#连接redis

redis-cli -h 172.20.26.204

#使用命令检查

172.20.26.204:6379> keys *

1) "nginx_access"

172.20.26.204:6379> LLEN nginx_access

(integer) 18

172.20.26.204:6379> type nginx_access

list

172.20.26.204:6379> LRANGE nginx_access 1 18

 1) "{\"@timestamp\":\"2020-09-06T09:46:56.057Z\",\"@metadata\":{\"beat\":\"filebeat\",\"type\":\"doc\",\"version\":\"6.4.2\"},\"source\":\"/var/log/nginx/access.log\",\"offset\":21682,\"tags\":[\"access\"],\"prospector\":{\"type\":\"log\"},\"beat\":{\"name\":\"localhost\",\"hostname\":\"localhost\",\"version\":\"6.4.2\"},\"json\":{},\"message\":\"192.168.88.102 - - [06/Sep/2020:17:46:50 +0800] \\\"GET / HTTP/1.1\\\" 304 0 \\\"-\\\" \\\"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.135 Safari/537.36\\\" \\\"-\\\"\",\"input\":{\"type\":\"log\"},\"host\":{\"name\":\"localhost\"}}"

十二、使用Kafka做缓存收集日志

结构图

kafka原理图

kafka是分布式发布-订阅消息系统

zookeeper：存储了一些关于 consumer 和 broker 的信息

producer 直接连接 Broker

zookeeper：保存了topic相关配置，例如topic列表，每个topic的 partition数量、副本的位置，这些分区信息及与Broker的对应关系所有， topic的访问控制信息也是由zookeeper维护的，记录消息分区与consumer之间的关系

broker：多个broker，其中一个会被选举为控制器。从多个broker中选出控制器，这个工作就是zookeeper负责的控制器负责管理整个集群所有分区和副本的控制，例如某个分区的leader故障了，控制器会选择新的leader

Producer：直接连接Broker

partition：一个topic可以分为多个partion，每个partion是一个有序的队列。

Broker：缓存代理，kafka集群中的一台或多台服务器统称broker，存储topic

topic：kafka处理资源的消息源（feeds of messages）的不同分类