ELK日志平台搭建
ELK日志分析平台搭建
elasticsearch kibana Logstash
安装elasticsearch
将下载好的elasticsearch放到服务器上。
使用命令将elasticsearch解压到指定目录
进入elasticsearch所在的目录将elasticsearch启动。
❹至此elasticsearch已经可以简单的使用了。
在命令行使用 curl http://localhost:9200 检验elasticsearch是否安装成功。
出现以下json数据表示安装成功
。
这样只能在本服务器通过localhost:9200访问。
修改配置文件使elasticsearch能在ping通此服务器的机器通过IP地址访问
vi config/elasticsearch.yml在配置文件中加上
这样的就可以在别的服务器通过URL 192.168.200.130:9200访问 elasticsearch。
❺安装kibana
通过tar将安装包解压到指定的目录。
vi conf/kibana.yml 在配置文件中加入
，
使得kibana可以在其他服务器通过url访问可视化界面
http://192.168.200.130:5601
再在配置文件中加入
将Elasticsearch和kibana关联起来，这样Elasticsearch收集到的数据将会在页面上显示。
❻安装logstash
通过tar将安装包解压到指定的目录。
Logstash安装很方便，简单的使用不需要任何配置，直接启动就可以。
通过一下命令可以将控制台输入的东西，发送到Elasticsearch，然后就可在kibana可视化界面看到信息
bin/logstash -e 'input { stdin { } } output { elasticsearch { hosts => "192.168.200.130:9200" } }'
Es常见问题
注： 如果启动es事，不报错，但也未启动成功，可在启动时不添加 -f 参数。
elasticsearch5.0启动失败，出现如下提示：
1、Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x0000000085330000, 2060255232, 0) failed; error='Cannot allocate memory' (errno=12)
由于elasticsearch5.0默认分配jvm空间大小为2g，修改jvm空间
* vi config/jvm.option
-Xms2g --> -Xms512g
-Xms2g --> -Xms512g
2、max number of threads [1024] for user [elasticsearch] is too low, increase to at least [2048]
修改 /etc/security/limits.d/90-nproc.conf
* soft nproc 1024
* soft nproc 2048
3、max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
修改/etc/sysctl.conf配置文件，
cat /etc/sysctl.conf | grep vm.max_map_count
vm.max_map_count=262144
如果不存在则添加
echo "vm.max_map_count=262144" >>/etc/sysctl.conf
4、max file descriptors [65535] for elasticsearch process likely too low, increase to at least [65536]
ulimit -n 65536
以下是在5.5.1是踩过的坑
5、启动异常：ERROR: bootstrap checks failed
system call filters failed to install; check the logs and fix your configuration or disable system call filters at your own risk
问题原因：因为Centos6不支持SecComp，而ES默认bootstrap.system_call_filter为true进行检测，所以导致检测失败，失败后直接导致ES不能启动。详见 ：https://github.com/elastic/elasticsearch/issues/22899
解决方法：在elasticsearch.yml中配置bootstrap.system_call_filter为false，注意要在Memory下面:bootstrap.memory_lock: false
bootstrap.system_call_filter: false