搭建elk日志管理系统

ELK日志管理系统

一．环境准备

1. 按照JDK1.8
   第一步：下载JDK
   https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
   第二步：安装
   mkdir /usr/jdk
   tar -xvf jdk-8u112-linux-x64.tar.gz /usr/jdk
   第三步：配置环境变量
   命令：vim /etc/profile
   添加如下内容
   export JAVA_HOME=/usr/jdk/jdk1.8.0_112
   export PATH=$JAV{A}_{H}OME/bin:$PATH
   export CLASSPATH=.:$JAV{A}_{H}OME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
   保存退出，使用命令生效
   命令：source /etc/profile
   第三步:检查glibc版本
   命令：rpm -qi glibc
   为2.11版本以上各安装6.7.1版本

2. elasticsearch安装
   第一步:解压
   命令：tar -zxvf elasticsearch-6.7.1.tar.gz
   第二步：切换到elasticsearch配置文件目录
   命令: cd /home/user/elasticsearch-6.7.1/config
   命令：vim elasticsearch.yml
   添加如下配置
   cluster.name: elasticsearch-cluster #集群名称
   node.name: log_elk_node-1 #节点名称
   bootstrap.memory_lock: false
   network.bind_host: 0.0.0.0
   network.publish_host: 10.38.12.46 #本机ip
   http.port: 9200
   discovery.zen.ping.unicast.hosts: [“10.38.11.175”,“10.38.11.176”,“10.38.12.46”] #集群服务器
   discovery.zen.minimum_master_nodes: 2 #填写2代表至少两台服务器
   transport.tcp.port: 9300
   http.cors.enabled: true #是否支持跨域
   http.cors.allow-origin: “*”
   node.master: true
   node.data: true
   transport.tcp.compress: true
   bootstrap.system_call_filter: false
   最后呈现结果如图

第三步：启动
命令：cd /home/user/elasticsearch-6.7.1/bin
命令：sh ./elasticsearch &
第四步: 查询是否启动成功

特殊情况说明:如果启动失败，查询日志，日志报错通常有如下几种情况
参考链接:https://blog.csdn.net/u010871982/article/details/78650259
日志报错内容如下
[1] bootstrap checks failed
[1]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
解决办法：
切换到root用户修改配置sysctl.conf
vi /etc/sysctl.conf
添加下面配置：
vm.max_map_count=655360
并执行命令：
sysctl -p
然后，重新启动elasticsearch

3. elasticsaerch安装head插件
   参考链接：https://www.cnblogs.com/meng111/p/10470187.html
   第一步:下载解压
   命令：wget https://nodejs.org/dist/v6.10.2/node-v6.10.2-linux-x64.tar.xz
   xz –d node-v6.10.2-linux-x64.tar.xz
   tar xvf node-v6.10.2-linux-x64.tar
   mv node-v6.10.2-linux-x64 /usr/local/node
   第二步: 配置生效
   命令：vim /etc/profile
   export NODE_HOME=/usr/local/node
   export PATH=$PATH:$NODE_HOME/bin
   source /etc/profile
   第三步:查看版本验证
   命令：node -v
   命令：npm -v
   第四步:下载head插件，并安装grunt
   命令 cd elasticsearch-head
   命令 npm install -g grunt --registry=https://registry.npm.taobao.org
   第五步:安装插件
   命令:npm install（前提切换到elasticsearch-head目录）
   第六步:修改相关配置
   修改connect配置节点

修改 _site/app.js 修改http://localhost:9200字段到本机ES端口与IP

温馨提示:定位到某一行的命令:500gg (代表定位到500行)
第七步:启动head插件服务
命令 /elasticsearch-head/node_modules/grunt/bin/grunt server &
第八步:查看页面

4.安装IKAnalyzer
第一步：进入elasticsearch安装目录下的plugins目录，创建ik目录
命令：cd /home/hujie/elk/elasticsearch-6.7.1/plugins
命令：mkdir ik
第二步：
命令：unzip elasticsearch-analysis-ik-6.2.4.zip #解压出来的目录叫elasticsearch
命令：cd elasticsearch #进入刚刚解压出来的elasticsearch目录
命令： cp -r ./* /home/hujie/elk/elasticsearch-6.7.1/plugins/ik/ #拷贝当前目录所有子目录和文件到elasticsearch的ik目录下
第三步：重启elasticsearch
5.logstash安装
第一步:解压
命令:tar -zxvf logstash-6.7.1.tar.gz
第二步:修改配置文件
命令：cd /home/hujie/elk/logstash-6.7.1/config
命令：cp logstash-sample.conf logstash.conf
vim logstash.conf
input {
tcp {
host => “10.38.11.175”
port => 9250
mode => “server”
}
}

output {
elasticsearch {
hosts => [“http://10.38.11.175:9200”]
action => “index”
index => “weibo_elk_node-1”
}
stdout { codec => rubydebug }
}

第三步:启动logstash
命令:nohup logstash-6.7.1/bin/logstash -f logstash-6.7.1/config/logstash.conf >/dev/null &
命令:sh logstash-6.7.1/bin/logstash -f logstash-6.7.1/config/allconf/ &
命令:nohup logstash-6.7.1/bin/logstash -f logstash-6.7.1/config/allconf/ & 推荐使用

6.kibana安装
第一步:解压
命令:tar -zxvf kibana-6.6.1-linux-x86_64.tar.gz
第二步:修改配置
命令：vi /home/hujie/elk/kibana-6.7.1-linux-x86_64/config/kibana.yml
修改内容如下:
server.port: 5601
server.host: “0.0.0.0”
elasticsearch.url: “http://10.38.11.175:9200”
kibana.index: “.kibana”
第三步:启动
命令：sh ./home/hujie/elk/kibana-6.7.1-linux-x86_64/bin/kibana &

6.配置log4j日志并推送到logstash中（基于springBoot）
第一步:引用pom文件

org.springframework.boot
spring-boot-starter


org.springframework.boot
spring-boot-starter-logging





org.springframework.boot
spring-boot-starter-log4j2

第二步:在application.properties 加入

7.应急处理情况
Csdn地址:https://blog.csdn.net/cxcjoker7894/article/details/84504418
出现错误：ES 写索引报错 FORBIDDEN/12/index read-only / allow delete (api)解决方案
查询磁盘使用命令：
df -hl /usr/local

du --max-depth=1 -h /home/hujie

解决只读状态的应急措施:
http://10.38.12.46:9200/people-spider-2019.12/_settings?pretty

解除只读状态命令：
curl -XPUT ‘localhost:9200/people-spider-2020.02/_settings’ -H ‘Content-Type: application/json’ -d ‘{“index.blocks.read_only_allow_delete”: null}’

//针对所有
curl -XPUT ‘localhost:9200/_all/_settings’ -H ‘Content-Type: application/json’ -d ‘{“index.blocks.read_only_allow_delete”: null}’