ELK安装

ElasticSearch:智能搜索,分布式的搜索引擎

是ELK的一个组成,是一个产品,而且是非常完善的产品,ELK代表的是:E就是ElasticSearch,L就是Logstach,K就是kibana

E:EalsticSearch 搜索和分析的功能

L:Logstach 搜集数据的功能,类似于flume(使用方法几乎跟flume一模一样),是日志收集系统

K:Kibana 数据可视化(分析),可以用图表的方式来去展示,文不如表,表不如图,是数据可视化平台

ELK安装_第1张图片
image.png

分析日志的用处:假如一个分布式系统有 1000 台机器,系统出现故障时,我要看下日志,还得一台一台登录上去查看,是不是非常麻烦?

但是如果日志接入了 ELK 系统就不一样。比如系统运行过程中,突然出现了异常,在日志中就能及时反馈,日志进入 ELK 系统中,我们直接在 Kibana 就能看到日志情况。如果再接入一些实时计算模块,还能做实时报警功能。

这都依赖ES强大的反向索引功能,这样我们根据关键字就能查询到关键的错误日志了。

1、环境

系统:Centos7.5
JDK: jdk-8u101-linux-x64.tar.gz
Elasticsearch- 6.4.0 Logstash 6.4.0
kibana-6.4.0 Filebeat 6.4.0

2、安装

2.1 JDK安装

上传jdk-8u101-linux-x64.tar.gz至/usr/java/目录下,如果没有通过mkdir /usr/java命令创建。
解压文件tar -vxf jdk-8u101-linux-x64.tar.gz


image.png

配置环境变量
执行vi /etc/profile命令,在末尾添加如下内容

#set java environment
export JAVA_HOME=/usr/java/jdk1.8.0_181
export JRE_HOME=/usr/java/jdk1.8.0_181/jre
export CLASSPATH=.:$JAVA_HOME/lib:/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH

执行source /etc/profile 刷新环境变量
执行java –version确认是否配置成功


image.png

2.2配置limit

执行vim /etc/security/limits.conf
在末尾添加以下内容

* soft nproc 65536
* hard nproc 65536
* soft nofile 65536
* hard nofile 65536

执行vi /etc/sysctl.conf
在末尾添加一下内容

vm.max_map_count=262144

重启生效

2.3创建ELK用户

创建用户
groupadd elk
useradd -g elk elk

创建运行目录
mkdir /data01/elk
chown -R elk:elk /data01/elk/

关闭防火墙
详见https://www.jianshu.com/p/52c6b3b4f519

2.4 ELK

2.4.1下载地址
Elasticsearch
https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.4.0.tar.gz
https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.4.0.tar.gz.sha512
Kibana
https://artifacts.elastic.co/downloads/kibana/kibana-6.4.0-linux-x86_64.tar.gz
https://artifacts.elastic.co/downloads/kibana/kibana-6.4.0-linux-x86_64.tar.gz
Logstash
https://artifacts.elastic.co/downloads/logstash/logstash-6.4.0.tar.gz
https://artifacts.elastic.co/downloads/logstash/logstash-6.4.0.tar.gz
Filebeat
https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.4.0-linux-x86_64.tar.gz
https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.4.0-linux-x86_64.tar.gz.sha512
每个组建下面的连接是文件的唯一性校验文件
通过shasum -a 512 + 校验文件名 的方式校验
如果shasum命令不存在时,可执行命令安装 yum install perl-Digest-SHA

2.4.2安装ELK
切换用户至elk(切记一定要切换用户至elk)
进入/data01/elk目录
解压ELK全部文件
tar -xzf elasticsearch-6.4.0.tar.gz
tar -vxf filebeat-6.4.0-linux-x86_64.tar.gz
tar -vxf kibana-6.4.0-linux-x86_64.tar.gz
tar -vxf logstash-6.4.0.tar.gz

配置ES
1、在配置之前编辑host文件
通过root用户编辑/etc/hosts文,然后切换回elk用户


image.png

2、配置elsaticsearch
cd elasticsearch-6.4.0/
vim config/elasticsearch.yml
在文件末尾添加如下配置

cluster.name: my_es_cluster
node.name: elk

path.data: /data01/elk/elasticsearch-6.4.0/data
path.logs: /data01/elk/elasticsearch-6.4.0/logs

http.cors.enabled: true
http.cors.allow-origin: "*"
node.master: true
node.data: true
# 配置白名单 0.0.0.0表示其他机器都可访问
network.host: 0.0.0.0
transport.tcp.port: 9300
# tcp 传输压缩
transport.tcp.compress: true
http.port: 9200
discovery.zen.ping.unicast.hosts: ["elk"](这个参数添加的是es的节点,可以添加多个用逗号(“,”)分隔)

配置完成后启动elasticsearch
./bin/elasticsearch
当所有节点启动成功后,在主节点服务器执行以下curl命令,如下图所示,标识Elasticsearch集群启动成功。(这里我们使用的是单节点)


ELK安装_第2张图片
image.png

3、配置 Kibana
cd kibana-6.4.0/
vim config/kibana.yml
在末尾添加

server.host: "172.24.112.17"

启动kibana
./bin/kibana
成功后通过浏览器访问http://172.24.112.17:5601查看是否成功


ELK安装_第3张图片
image.png

4、配置Logstash
cd logstash-6.4.0
复制配置文件
cp config/logstash-sample.conf config/logstash.conf
vim config/logstash.conf
修改配置文件如下

#从filebeat拿数据
input {
    beats {
        port => "5044"
    }
}
#从file文件内拿数据
input {
  file {
    path => "/var/log/lyh.log"
    type => "syslog"
  }
}
 filter {
    grok {
        match => { "message" => "%{COMBINEDAPACHELOG}"}
    }
    geoip {
        source => "clientip"
    }
}
output {
    elasticsearch {
        hosts => [ "localhost:9200" ]
        index => "logstash-index-%{+YYYY.MM.dd}"  #创建index的命名规则
    }
}

启动Logstash

bin/logstash -f logstash.conf --config.reload.automatic

--config.reload.automatic项会定期自动重载配置,可以不停止重启Logstash就可以修改配置。

通过Grok过滤插件解析Web日志:
grok过滤插件使您能够将非结构化日志数据解析为结构化易查询的形式。

grok过滤插件是在输入的日志数据中查找对应模式,因此需要您根据你自己的用例需求去配置插件如何识别对应的模式。 Web服务器日志示例中的代表行如下所示:

83.149.9.216 - - [04/Jan/2015:05:13:42 +0000] "GET /presentations/logstash-monitorama-2013/images/kibana-search.png HTTP/1.1" 200 203023 "http://semicomplete.com/presentations/logstash-monitorama-2013/" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1700.77 Safari/537.36"

在日志行启始位置的IP地址是非常好识别的,在括号中的时间戳也同样好识别。要解析这些数据,可以使用%{COMBINEDAPACHELOG}模式,用下表的形式结构化Apache日志行:

ELK安装_第4张图片
微信截图_20190522111717.png

通过Geoip过滤插件增强你的数据:
除了解析日志数据以获得更好的搜索之外,过滤插件还可以从现有数据中获取补充信息。例如, geoip插件查找IP地址,从地址中获取地理位置信息,并将该位置信息添加到日志中。
geoip插件配置要求你指定包含要查找的IP地址信息的源字段的名称。在此示例中,clientip字段包含IP地址信息。

由于过滤器是按序处理的,在配置文件中请确保geoip部分在grok部分之后,并且都在filter内部。

保存更改项。因为之前在配置中设置了配置自动重载,当你再次更改配置时不必重新启动Logstash使配置生效。但是,您需要强制Filebeat从头开始读取日志文件。 为此,请转到运行Filebeat的终端窗口,然后按Ctrl + C关闭Filebeat。 然后删除Filebeat注册表文件registry。 例如,运行:

sudo -u elk rm data/registry

由于Filebeat在注册表文件中存储了每个文件被读取后的状态,删除注册表文件将强制Filebea从头开始读取文件。下一步,用下面的命令重启Filebeat:

sudo -u elk ./filebeat -e -c filebeat.yml -d "publish"

5、配置filebeat
cd filebeat-6.4.0-linux-x86_64
vim filebeat.yml
在末尾添加

filebeat.prospectors:
- type: log
  paths:
    - /var/log/*.log   # 须填写绝对路径
  multiline.pattern: ^\[
  multiline.negate: true
  multiline.match: after

filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false

setup.template.settings:
  index.number_of_shards: 3

setup.kibana:
  host: "172.24.112.17:5601"

output.logstash:
  hosts: ["localhost:5044"]
#如果不适用logstash对日志进行过滤,也可以直接输出到es
output.elasticsearch:
  hosts: ["172.24.112.17:9200"]
#输出到kafka
output.kafka:
  hosts: ["kafka1:9092", "kafka2:9092", "kafka3:9092"]
  topic: '%{[fields.log_topic]}'

注意:遇到一个坑就是连接不上kafka broker,最后查询官方文档https://www.elastic.co/guide/en/beats/filebeat/6.4/kafka-output.html
发现filebeat6.4版本支持kafka版本0.11到1.1.1,而我的kafka版本0.8,换成filebeat6.2一切正常

QQ截图20190524202035.png

启动 filebeat

sudo -u elk ./filebeat -e -c filebeat.yml -d "publish"

如果以root身份运行Filebeat,则需要更改配置文件的所有权(请参阅Config File Ownership and Permissions)。

你可能感兴趣的:(ELK安装)