ELK(elasticsearch+logstash+kibana)日志采集系统部署教程

文章目录

  • 一,安装环境
  • 二,安装JDK
    • 2.1,下载JDK:
    • 2.2,配置环境变量
    • 2.3,配置limit相关参数
    • 2.4,创建运行ELK的用户
  • 三,安装Elasticsearch
  • 四,安装logstash
  • 五,安装kibana

一,安装环境

系统版本:centos 6.5
JDK:1.8.0_181
Elasticsearch-6.4.2
Logstash-6.4.2
kibana-6.4.2

二,安装JDK

2.1,下载JDK:

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
本环境下载的是64位tar.gz包,将安装包拷贝至安装服务器/home/目录

[root@localhost ~]# cd /home/
[root@localhost local]# tar -xzvf jdk-8u181-linux-x64.tar.gz

2.2,配置环境变量

[root@localhost local]# vim /etc/profile
将下面的内容添加至文件末尾

JAVA_HOME=/home/jdk1.8.0_181
JRE_HOME=/home/jdk1.8.0_181/jre
CLASSPATH=.:$JAVA_HOME/lib:/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$PATH:$JAVA_HOME/bin
export  JAVA_HOME
export  JRE_HOME
ulimit -u 4096

[root@localhost local]# source /etc/profile

2.3,配置limit相关参数

修改limits.conf

vi /etc/security/limits.conf

添加以下内容

* soft nproc 65536
* hard nproc 65536
* soft nofile 65536
* hard nofile 65536

修改90-nproc.conf配置文件。

vi /etc/security/limits.d/90-nproc.conf

#修改如下内容:

soft nproc 1024 修改为 soft nproc 4096

修改配置sysctl.conf

vi /etc/sysctl.conf

#添加下面配置:

vm.max_map_count=655360

#并执行命令:
sysctl -p

2.4,创建运行ELK的用户

[root@localhost local]# groupadd elk
[root@localhost local]# useradd -g elk elk
[root@localhost local]# passwd elk – 修改elk用户密码
ELK(elasticsearch+logstash+kibana)日志采集系统部署教程_第1张图片

创建ELK运行目录

[root@localhost local]# mkdir /home/elk
[root@localhost local]# chown -R elk:elk /home/elk
以上全部是root用户完成

三,安装Elasticsearch

以下由elk用户操作,以elk用户登录服务器
下载ELK安装包:https://www.elastic.co/downloads,并上传到服务器且解压。
解压命令:tar -xzvf 包名
ELK(elasticsearch+logstash+kibana)日志采集系统部署教程_第2张图片

配置Elasticsearch
vi conf/elasticsearch.yml

修改如下内容:

cluster.name: mycluster
node.name: node-1
node.master: true #指定了该节点可能成为 master 节点,还可以是数据节点
node.data: true
network.host: 192.168.31.86
http.port: 9200
transport.tcp.port: 9300
discovery.zen.ping.unicast.hosts: ["172.18.96.32", "172.18.96.33","172.18.96.35","172.18.96.36"]
#修改bootstrap.system_call_filter为false,注意要在Memory下面:
bootstrap.memory_lock: false
bootstrap.system_call_filter: false

修改jvm.options文件中如下内容,设置最大最小使用内存数量

-Xms1g
-Xmx1g

防火墙配置中新增端口
su root
vi /etc/sysconfig/iptables

-A INPUT -m state --state NEW -m tcp -p tcp --dport 9200 -j ACCEPT
-A INPUT -m state --state NEW -m tcp -p tcp --dport 9300 -j ACCEPT

service iptables restart

保存退出
启动Elasticsearch
在这里插入图片描述

./elasticsearch -d & --后台启动

查看是否启动成功
ELK(elasticsearch+logstash+kibana)日志采集系统部署教程_第3张图片

用浏览器访问:http://192.168.10.169:9200
ELK(elasticsearch+logstash+kibana)日志采集系统部署教程_第4张图片

Elasticsearch安装完毕。

四,安装logstash

logstash是ELK中负责收集和过滤日志的
在这里插入图片描述

编写配置文件如下:
ELK(elasticsearch+logstash+kibana)日志采集系统部署教程_第5张图片

解释:
logstash的配置文件须包含三个内容:
input{}:此模块是负责收集日志,可以从文件读取、从redis读取或者开启端口让产生日志的业务系统直接写入到logstash
filter{}:此模块是负责过滤收集到的日志,并根据过滤后对日志定义显示字段。
output{}:此模块是负责将过滤后的日志输出到elasticsearch或者文件、redis等。
本环境采用从文件读取日志,业务系统产生日志的格式如下:

[2016-11-05 00:00:03,731  INFO] [http-nio-8094-exec-10] [filter.LogRequestFilter] - /merchant/get-supply-detail.shtml, IP: 121.35.185.117, [device-dpi = 414*736, version = 3.6, device-os = iOS8.4.1, timestamp = 1478275204, bundle = APYQ9WATKK98V2EC, device-network = WiFi, token = 393E38694471483CB3686EC77BABB496, device-model = iPhone, device-cpu = , sequence = 1478275204980, device-uuid = C52FF568-A447-4AFE-8AE8-4C9A54CED10C, sign = 0966a15c090fa6725d8e3a14e9ef98dc, request = {
  "supply-id" : 192
}]
[2016-11-05 00:00:03,731 DEBUG] [http-nio-8094-exec-10] [filter.ValidateRequestFilter] - Unsigned: bundle=APYQ9WATKK98V2EC&device-cpu=&device-dpi=414*736&device-model=iPhone&device-network=WiFi&device-os=iOS8.4.1&device-uuid=C52FF568-A447-4AFE-8AE8-4C9A54CED10C&request={
  "supply-id" : 192

output直接输出到Elasticsearch
本环境需处理两套业务系统的日志
ELK(elasticsearch+logstash+kibana)日志采集系统部署教程_第6张图片

type:代表类型,其实就是将这个类型推送到Elasticsearch,方便后面的kibana进行分类搜索,一般直接命名业务系统的项目名
path:读取文件的路径
ELK(elasticsearch+logstash+kibana)日志采集系统部署教程_第7张图片

这个是代表日志报错时,将报错的换行归属于上一条message内容
start_position => "beginning"是代表从文件头部开始读取
ELK(elasticsearch+logstash+kibana)日志采集系统部署教程_第8张图片

filter{}中的grok是采用正则表达式来过滤日志,其中%{TIMESTAMP_ISO8601}代表一个内置获取2016-11-05 00:00:03,731时间的正则表达式的函数,%{TIMESTAMP_ISO8601:date1}代表将获取的值赋给date1,在kibana中可以体现出来
本环境有两条grok是代表,第一条不符合将执行第二条
ELK(elasticsearch+logstash+kibana)日志采集系统部署教程_第9张图片

其中index是定义将过滤后的日志推送到Elasticsearch后存储的名字
%{type}是调用input中的type变量(函数)
启动logstash
./logstash -f /elk/config/logstash.conf > /data/logstash.log &
在这里插入图片描述

代表启动成功。

五,安装kibana

在这里插入图片描述
ELK(elasticsearch+logstash+kibana)日志采集系统部署教程_第10张图片

保存退出
启动kibana
./kibana > kibana.log & - 后台启动

在这里插入图片描述
ELK(elasticsearch+logstash+kibana)日志采集系统部署教程_第11张图片

ELK(elasticsearch+logstash+kibana)日志采集系统部署教程_第12张图片

其中api-app-*和api-cxb-*从来的,*代表所有
ELK(elasticsearch+logstash+kibana)日志采集系统部署教程_第13张图片

代表实时收集的日志条数
ELK(elasticsearch+logstash+kibana)日志采集系统部署教程_第14张图片

ELK(elasticsearch+logstash+kibana)日志采集系统部署教程_第15张图片

红色框内的就是在刚才filter过滤规则中定义的

ELK(elasticsearch+logstash+kibana)日志采集系统部署教程_第16张图片

你可能感兴趣的:(elasticsearch,elasticsearch,java)