Linux下ELK安装

目录

1.ES安装

1.1创建文件夹

1.2下载es

1.2.1 可以直接在linux使用wget直接下载

1.2.2 .windows迅雷下载

1.3 解压安装

1.3.1 JDK冲突解决

 1.3.2 参数调节

1.3.2.1 jvm参数调节

1.3.2.2 配置调节

1.3.3 创建用户和组 

1.3.4 启动es

 1.3.5 系统配置

1.4 es启动成功验证

 2.kibana安装

2.1 下载

2.2 解压安装

 2.3.修改配置文件

2.4 启动验证

 3.logstash安装

3.1 下载

3.2 解压安装

3.3 ELK收集系统标准日志

3.3.1 创建配置文件

3.3.2 启动logstash

3.3.3 查看kibana是否收到 

---

1.ES安装

es版本使用elasticsearch-7.1.1-linux-x86_64.tar.gz

1.1创建文件夹

/home下创建文件夹software

[root@localhost home]# ls
esb
[root@localhost home]# mkdir sotfware
[root@localhost home]# ls
esb  sotfware
[root@localhost home]# 

1.2下载es

1.2.1 可以直接在linux使用wget直接下载

[root@localhost /]# cd /home/sotfware/
[root@localhost sotfware]# ls
[root@localhost sotfware]# wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.1.1-linux-x86_64.tar.gz

1.2.2 .windows迅雷下载

如果linux下载太慢，直接使用迅雷下载好后直接使用，下载地址https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.1.1-linux-x86_64.tar.gz 

下载完后直接上传到/home/software目录

1.3 解压安装

解压到/usr/local下。

tar -zxvf elasticsearch-7.1.1-linux-x86_64.tar.gz -C /usr/local

1.3.1 JDK冲突解决

 linux7版本本身自带了jdk环境，如果系统没有配置，则会使用自己所带的jdk版本。

 如果linux本身配置了java环境，es会使用linux系统配置的java环境。此时，如果和版本不对应可能会发生冲突。解决办法：此处参考ELK详细安装部署_elk安装_xuan ~的博客-CSDN博客

vi /usr/local/elasticsearch-7.1.1/bin/elasticsearch

添加如下：

############## 添加配置解决jdk版本问题 ##############

# 将jdk修改为es中自带jdk的配置目录

export JAVA_HOME=/usr/local/elasticsearch-7.1.1/jdk
export PATH=$JAVA_HOME/bin:$PATH
if [ -x "$JAVA_HOME/bin/java" ]; then
        JAVA="/usr/local/elasticsearch-7.1.1/jdk/bin/java"
else
        JAVA=`which java`
fi

具体位置如下

 1.3.2 参数调节

1.3.2.1 jvm参数调节

vi /usr/local/elasticsearch-7.1.1/config/jvm.options

默认1g

-Xms1g
-Xmx1g

根据自己机器实际进行调节

-Xms512m
-Xmx512m

1.3.2.2 配置调节

vi /usr/local/elasticsearch-7.1.1/config/elasticsearch.yml

#集群名称 本次单节点运行 可以不管

#cluster.name: my-application

#本节点名称

node.name: node-1

#可以被谁访问 设置成0.0.0.0可以被任何机器访问

network.host: 0.0.0.0 

#http的对外接口

http.port: 9200

#集群初始化主节点 

cluster.initial_master_nodes: ["node-1"]

1.3.3 创建用户和组 

创建名称为es的用户和组

useradd -m es

将elasticsearch文件夹权限给es用户

chown es:es -R /usr/local/elasticsearch-7.1.1

1.3.4 启动es

切换到用户es,并且启动

[root@localhost ~]# su es
[es@localhost root]$ cd /usr/local/elasticsearch-7.1.1/bin/

#启动
[es@localhost bin]$ ./elasticsearch

#后台启动

[es@localhost bin]$./elasticsearch -d

 1.3.5 系统配置

切换到root用户进行配置

vi /etc/security/limits.conf 添加以下配置

*        hard    nofile           65535
*        soft     nofile           65535

*        soft    nproc            4096
*        hard   nproc            4096

vi /etc/sysctl.conf添加以下配置

vm.max_map_count=262144

如果系统没有提前配置，则启动报错解决

默认情况下启动时候会报错

[3] bootstrap checks failed
[1]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65535]
[2]: max number of threads [3795] for user [es] is too low, increase to at least [4096]
[3]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

 

解决办法：

1）max file descriptors [4096] for elasticsearch process is too low, increase to at least [65535]

表示每个进程最大同时打开文件数太小，可通过下面2个命令查看当前数量

linux下输入以下命令查看：

[es@localhost logs]$ ulimit -Hn
4096
[es@localhost logs]$ ulimit -Sn
1024
[es@localhost logs]$

切换到root用户

vi /etc/security/limits.conf

添加：

*        hard    nofile           65535
*        soft     nofile           65535

如下：

 

切换到es用户，测试如下

[es@localhost logs]$ ulimit -Hn
65535

2）max number of threads [3818] for user [es] is too low, increase to at least [4096]

最大线程个数太低。（同上）同样修改 /etc/security/limits.conf

Linux使用以下命令查看线程最大个数：

ulimit -Hu
ulimit -Su

切换到root用户

vi /etc/security/limits.conf

添加：

*        soft    nproc            4096
*        hard   nproc            4096

 

即可解决 验证方法和1）相同

3） max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

修改/etc/sysctl.conf文件，增加vm.max_map_count=262144

[root@localhost etc]# vi sysctl.conf 
[root@localhost etc]# sysctl -p
vm.max_map_count = 262144

此时再次启动，上面三个问题不在出现，如果仍然存在可考虑重新启动服务系统解决

1.4 es启动成功验证

打开浏览器访问：http://ip:9200/

返回如下，说明安装成功。 

 

 2.kibana安装

2.1 下载

 下载方法可以是linux wget直接下载，也可以迅雷下载下来上传。同es下载一样，此处保证kibana的版本要和es一致

下载地址 https://artifacts.elastic.co/downloads/kibana/kibana-7.1.1-linux-x86_64.tar.gz

2.2 解压安装

root用户登录：

[root@localhost /]# cd /home/sotfware/[root@localhost sotfware]# ll
total 502524
-rw-rw-rw-. 1 root root 346794062 Jul 21 01:05 elasticsearch-7.1.1-linux-x86_64.tar.gz
-rw-rw-rw-. 1 root root 167785446 Jul 21 05:28 kibana-7.1.1-linux-x86_64.tar.gz
[root@localhost sotfware]# tar -zxvf kibana-7.1.1-linux-x86_64.tar.gz

解压完后更改kibana权限为es权限，方便以后启动使用es用户启动  根据实际情况而定

 

 2.3.修改配置文件

vi /home/sotfware/kibana-7.1.1-linux-x86_64/config/kibana.yml

#对外暴漏的端口

server.port: 5601

#那些机器可以访问 0.0.0.0代表都可以访问

server.host: "0.0.0.0"

#链接es的信息

elasticsearch.hosts: ["http://localhost:9200"]

#kibana在es中创建的索引 如果不存在自动创建

kibana.index: ".kibana"

2.4 启动验证

切换到es用户下

[es@localhost /]$ cd /home/sotfware/kibana-7.1.1-linux-x86_64/bin
[es@localhost bin]$ nohup ./kibana &

页面访问 http://192.168.110.135:5601/

 出现下面页面，就代表安装成功：

 3.logstash安装

3.1 下载

下载方法可以是linux wget直接下载，也可以迅雷下载下来上传。同es下载一样，此处保证logstash的版本要和es一致

下载地址 https://artifacts.elastic.co/downloads/logstash/logstash-7.1.1.tar.gz

3.2 解压安装

root用户登录：

[root@localhost ~]# cd /home/sotfware/
[root@localhost sotfware]# ls
elasticsearch-7.1.1-linux-x86_64.tar.gz  kibana-7.1.1-linux-x86_64  kibana-7.1.1-linux-x86_64.tar.gz  logstash-7.1.1.tar.gz
[root@localhost sotfware]# tar -zxvf logstash-7.1.1.tar.gz

解压后给赋权给es用户

 

3.3 ELK收集系统标准日志

3.3.1 创建配置文件

一般logstash 遵循 输入---->过滤---->输出的过程

cd /home/sotfware/logstash-7.1.1/config

vi sc.conf

将以下内容粘贴进去

# 输入插件类型为stdin 控制台输入
input { stdin { } }

# 指定了elasticsearch和stdout两个输出插件
output {
  elasticsearch { hosts => ["localhost:9200"] }
  stdout { codec => rubydebug }
}

3.3.2 启动logstash

在bin目录下 启动

./logstash -f ../config/sc.conf

启动完毕输入任意的数据 比如：

3.3.3 查看kibana是否收到 

kibana页面配置

 

 

 

 

可以看到kibana已经收到信息