CentOS7下安装Elasticsearch、Kibana、Logstash、Elasticsearch-analysis-ik中文分词器
简介：
ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。
环境：
java version "1.8.0_144"
elasticsearch5.5.2
kibana5.5.2
logstash5.5.2
elasticsearch-analysis-ik-5.5.2
下载地址：
https://www.elastic.co/cn/downloads/elasticsearch
一、elasticsearch5.5.2安装
1.下载后解压缩
[root@localhost ES]# tar -zxvf elasticsearch-5.5.2.tar.gz
2.进入elasticsearch-5.5.2启动：
./bin/elasticsearch
3.root用户无法正确启动，创建普通用户：
groupadd esgroup
4.设置密码
useradd esuser -g esgroup -p 你的密码
5.更改elasticsearch文件夹及内部文件的所属用户及组：
chown -R esuser:esgroup elasticsearch-5.5.2
6.切换用户：
su esuser
7.运行
./bin/elasticsearch
8.后台运行：./bin/elasticsearch -d
测试连接：curl 127.0.0.1:9200
会看到一下JSON数据：
[root@localhost ~]# curl 127.0.0.1:9200
{
"name" : "rBrMTNx",
"cluster_name" : "elasticsearch",
"cluster_uuid" : "-noR5DxFRsyvAFvAzxl07g",
"version" : {
"number" : "5.1.1",
"build_hash" : "5395e21",
"build_date" : "2016-12-06T12:36:15.409Z",
"build_snapshot" : false,
"lucene_version" : "6.3.0"
},
"tagline" : "You Know, for Search"
}
9.实现远程访问：
需要对config/elasticsearch.yml进行 配置：
network.host: 192.168.25.136
10.处理错误
a.处理第一个错误：
vim /etc/security/limits.conf //文件最后加入
esuser soft nofile 65536
esuser hard nofile 65536
esuser soft nproc 4096
esuser hard nproc 4096
b.处理第二个错误：
进入limits.d目录下修改配置文件。
vim /etc/security/limits.d/20-nproc.conf
修改为 esuser soft nproc 4096
c.处理第三个错误：
vim /etc/sysctl.conf
vm.max_map_count=655360
11.执行以下命令生效：
sysctl -p
12.关闭防火墙：systemctl stop firewalld.service
13.再次启动成功！
二、安装Kibana
Kibana是一个针对Elasticsearch的开源分析及可视化平台，使用Kibana可以查询、查看并与存储在ES索引的数据进行交互操作，使用Kibana能执行高级的数据分析，并能以图表、表格和地图的形式查看数据
1.下载Kibana
https://www.elastic.co/downloads/kibana
2.把下载好的压缩包拷贝到/soft目录下
3.解压缩，并把解压后的目录移动到/user/local/kibana
4.编辑kibana配置文件
[root@localhost /]# vi /usr/local/kibana/config/kibana.yml
将server.host,elasticsearch.url修改成所在服务器的ip地址
5.开启5601端口
Kibana的默认端口是5601
6.开启防火墙:
systemctl start firewalld.service
7.开启5601端口:
firewall-cmd --permanent --zone=public --add-port=5601/tcp
8.重启防火墙：
firewall-cmd –reload
9.启动Kibana
[root@localhost /]# /usr/local/kibana/bin/kibana
10.浏览器访问：
http://192.168.25.136:5601
三、安装elasticsearch-analysis-ik中文分词器
1.下载中文分词器
https://github.com/medcl/elasticsearch-analysis-ik/releases
2.切换到elasticsearch-5.5.2/plugins目录中创建ik文件夹
mkdir ik
3.把 下载的elasticsearch-analysis-ik-5.5.2.zip放入ik文件夹下解压缩
unzip elasticsearch-analysis-ik-5.5.2.zip
4.解压后的内容移动到ik目录下
5.再次启动elasticsearch就可以了
四、安装logstash5.5.2
1.解压缩：
tar -zxvf logstash-5.5.2.tar.gz
2.切换到目录
/logstash-5.5.2/config
3.创建配置文件
并添加内容
vim config/nginx-gitlab.conf
内容如下：
input {
file {
path => "/var/opt/gitlab/nginx/logs/*.log"
start_position => beginning
}
}
filter {
grok {
match => { "message" => "%{COMBINEDAPACHELOG} %{QS:x_forwarded_for}"}
}
date {
match => [ "timestamp" , "dd/MMM/YYYY:HH:mm:ss Z" ]
}
geoip {
source => "clientip"
}
}
output {
elasticsearch {
hosts => "192.168.235.32:9200"
}
stdout { codec => rubydebug }
}
4.启动logstash
./bin/logstash -f config/nginx-gitlab.conf