部署配置ES,需要配置JDK 环境,JDK(Java Development Kit) 是 Java 语言的软件开发工具包(SDK)),此处采用JDK1.8版本,配置JAVA环境变量
下载JAVA jdk源码包
wget https://mirrors.yangxingzhen.com/jdk/jdk-11.0.1_linux-x64_bin.tar.gz
[root@es ~]# tar xf jdk-11.0.1_linux-x64_bin.tar.gz [root@es ~]# mv jdk-11.0.1 /usr/java
加入变量
[root@es ~]# vim /etc/profile.d/java.sh export JAVA_HOME=/usr/java export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
[root@es ~]# source /etc/profile.d/java.sh
ELK安装信息
10.168.1.150 Elasticsearch 10.168.1.151 Kibana 10.168.1.152 Logstash
分别下载ELK软件包
wget https://downloadfiles.oss-cn-hangzhou.aliyuncs.com/courses/aliyun/elk/elasticsearch-7.4.1-linux-x86_64.tar.gz
wget https://downloadfiles.oss-cn-hangzhou.aliyuncs.com/courses/aliyun/elk/kibana-7.4.1-linux-x86_64.tar.gz
wget https://downloadfiles.oss-cn-hangzhou.aliyuncs.com/courses/aliyun/elk/logstash-7.4.1.tar.gz
1、配置ES
[root@instance-lxdwnzid ~]# tar xf elasticsearch-7.4.1-linux-x86_64.tar.gz [root@instance-lxdwnzid ~]# mv elasticsearch-7.4.1 /usr/local/elasticsearch
修改vim /usr/local/elasticsearch/config/elasticsearch.yml文件,设置监听地址为network.hosts:0.0.0.0
useradd elk chown -R elk:elk /usr/local/elasticsearch/ su - elk /usr/local/elasticsearch/bin/elasticsearch -d
2、Kibana WEB安装配置
部署安装Kibana不需要安装JAVA JDK环境,直接下载源码,解压即可。
tar xzf kibana-5.3.0-linux-x86_64.tar.gz mv kibana-5.3.0-linux-x86_64 /usr/local/kibana/
修改kibana配置文件信息,设置ES地址:
vim /usr/local/kibana/config/kibana.yml
useradd elk chown -R elk:elk /usr/local/elasticsearch/ su - elk /usr/local/elasticsearch/bin/elasticsearch -d
2、Kibana WEB安装配置
部署安装Kibana不需要安装JAVA JDK环境,直接下载源码,解压即可。
tar xzf kibana-5.3.0-linux-x86_64.tar.gz mv kibana-5.3.0-linux-x86_64 /usr/local/kibana/
修改kibana配置文件信息,设置ES地址:
vim /usr/local/kibana/config/kibana.yml
3、Logstash客户端配置实战
由于Logstash基于JAVA语言开发,Agent部署需要安装JDK运行环境库:
tar xzf jdk-8u121-linux-x64.tar.gz mkdir -p /usr/java/ ;mv jdk1.8.0_131/ /usr/java/
vim /etc/profile添加如下代码;
export JAVA_HOME=/usr/java/jdk1.8.0_131 export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOMR/bin
解压Logstash软件;
tar xzf logstash-5.3.0.tar.gz mv logstash-5.3.0 /usr/local/logstash/
ELK收集系统标准日志
#创建收集日志配置目录;
mkdir -p /usr/local/logstash/config/etc/ cd /usr/local/logstash/config/etc/
创建ELK整合配置文件:vim jfedu.conf,内容如下:
input { stdin { } } output { stdout { codec => rubydebug {} } elasticsearch { hosts => "47.98.151.187:9200" } }
启动logstash服务
/usr/local/logstash/bin/logstash -f jfedu.conf
ELK-WEB日志数据图表
Logstash启动窗口中输入任意信息,会自动输出相应格式日志信息
浏览器输入:http://192.168.111.129:5601/
为了使用kibana 你必须配置至少一个索引模式,索引模式是用于确认Elasticsearch index,用来运行搜索和分析,也可以用于配置字段。
Index contains time-based events 索引基于时间的事件;
Use event times to create index names [DEPRECATED] 使用事件时间来创建索引名字【过时】
Index name or pattern 索引名字或者模式;
模式允许你定义动态的索引名字 使用*作为通配符,例如默认:
logstash-*
选择:
Time field name;
单击Discover,可以搜索和浏览 Elasticsearch 中的数据,默认搜索的是最近 15分钟的数据。可以自定义选择时间。