ELK数据平台环境搭建

2017年底花了一个月搭建ELK（Elasticsearch+Logstash+Kibana），2018年10月又做了一次服务器从阿里云到google的切换，因此搭建了两次ELK系统，现在数据量超过30亿，今天有时间把搭建过程和关键点整理出来：

数据生命周期图

1. 环境准备

1.1. 安装JDK

google 服务器一台，需要安装JDK1.8最新版本，可以参考之前的文章安装JDK，并配置profile

最新JDK下载地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

1.2. 下载安装Elasticsearch+Logstash+Kibana

最新版es下载地址：https://www.elastic.co/downloads/elasticsearch

es文档地址：https://www.elastic.co/guide/index.html

Logstash和kibana的下载和文档地址可以从es链接页面中跳转过去，一定要保证3个组件版本号相同即可

1.3. 服务器配置

根据使用近一年的经验判断，目前我使用的是8核Cpu，16G内存，系统硬盘40G（基本不用于存放数据，只放JDK文件），扩展挂载1T硬盘

但是在导入数据的时候发现CPU在数据导入压力测试时load average是> 8*2*0.75的（最好 < 8*2*0.7）说明CPU最好使用16核

es在jvm中分配了8G的容量，logstash分配了1G。logstash够用，但是es建议分配16G，防止高并发查询时gc报错，但是不能高于32G（这是es的建议值）

关于数据盘的大小：目前1T够用，es数据占用500G左右，另外有些临时文件最高占用100G，最低占用60G（每10天压缩打包一次）

2. 配置运行elk

2.1. 运行elasticsearch

./bin/elasticsearch 运行如果报错，是因为elasticsearch不能在root下运行

解决办法：

groupadd elsearch          #增加es组

useradd elsearch -g elsearch -p pwd          #增加es用户并附加到es组

chown -R elsearch:elsearch elasticsearch          #给目录权限

su es          #使用es用户

./bin/elasticsearch -d          #后台运行es

解决： file descriptor问题

vi /etc/security/limits.conf

# End of file

root soft nofile 65536

root hard nofile 65536

* soft nofile 65536

* hard nofile 65536

修改config下的elasticsearch.yml配置文件：

cluster.name: gamebeer #集群名称

node.name: node-1 #这台机器的节点名称

bootstrap.memory_lock: true #打开之后，不会与swap交换内存

network.host: 0.0.0.0 #监听的ip

http.port: 52125 #http端口号，默认9200，我改成了52125

在jvm.options文件中修改heap size，es建议是机器物理内存的1/2：

-Xms8g

-Xmx8g

如果用elastic用户运行elastic程序没有报错，则表明能够运行成功。

测试url接口访问：浏览器输入35.xxx.xxx.xxx:52125 web能访问且命令行得到结果即为运行测试通过，也可以在命令行输入curl测试命令：

root@elastic:~# curl -X GET 'http://localhost:52125'

{

  "name" : "KRs-AjM",

  "cluster_name" : "elasticsearch",

  "cluster_uuid" : "CmiON8GeQkibisuuidTL1w",

  "version" : {

    "number" : "5.6.2",

    "build_hash" : "57e20f3",

    "build_date" : "2017-09-23T13:16:45.703Z",

    "build_snapshot" : false,

    "lucene_version" : "6.6.1"

  },

  "tagline" : "You Know, for Search"

}

2.2. 运行logstash

首先写一个logstash的配置文件，例如jsonToEs.conf，这个文件告诉logstash从哪里读数据，并写入到哪里。我这里是从一个文件中读数据，写入到es

input{

    file{

        path => ["/bigdata/data/srvOutput/jsonToEs.json"]

        codec => "json"

        #delimiter => "\n"

        start_position => "end"

        #max_open_files => 2048

    }

}

filter {

    json {

        source => "message"

    }

    date {

        match => [ "time", "UNIX" ]

        #target => "date"

        remove_field => [ "time" ]

        remove_field => [ "Time" ]

    }

#    date {   

#      match => ["time","UNIX"]   

#      target => "@timestamp"

#      remove_field => [ "time" ]

#    }

#    ruby {   

#      code => "event.set('timestamp', event.get('@timestamp').time.localtime + 8*60*60)" 

#    }

#    ruby { 

#      code => "event.set('@timestamp',event.get('timestamp'))"

#    }

#    mutate { 

#      remove_field => ["timestamp"]

#    }

}

output{

    elasticsearch {

        hosts => ["127.0.0.1:52125"]

        index => "server-%{+YYYY.MM.dd}"

        #index => "test-%{+YYYY.MM.DD}"

    }

#    stdout {

#      codec => rubydebug

#    }

}

启动logstash，启动时间大约是半分钟：

./bin/logstash -f ./conf/jsonToEs.conf

2.3. 运行kibana

修改config下的kibana.yml配置文件：

server.port: 52025 #kibanaweb访问的端口号

server.host: 0.0.0.0 #kibana侦听的ip

elasticsearch.url: "http://localhost:52125" #kibanna绑定es的url

elasticsearch.requestTimeout: 60000 #kibana查询等待的超时时间，我把30s改成了60s

运行kibana：

./bin/kibana

3. 其他

3.1. 清除es elasticsearch中的数据（慎用，删除后无法恢复）：

curl -XDELETE "http://localhost:52125/index-*"

3.2. elk总结：

1. 如果遇到问题只能找很多日志文件，在shell下面awk分析，耗时很长。如果Elasticsearch很短时间就可以搞定

2. 统计表、kibana、可视化，即席查询

3. 实时性强，根据数据量和性能决定能查询到过去的多少时间

4. 模糊查询，根据查询词组得出score匹配度。适用于电商网站，搜索框

5. 目前用于查询礼包id，帐号、订单等基本查询。优势是免费

6. 分布式：硬件分布式做主副分片备份、分布式查询减少服务器负载

3.3. 查询elk的pid：

# jps

2983 Elasticsearch   #这是elasticsearch的pid

18824 Jps    #jps临时pid

3256 Logstash    #logstash的pid

# ps -aux|grep node

3299就是kibana的pid

root      3299  0.4  1.2 1354432 201672 ?      Sl  Oct15  52:12 /bigdata/kibana-6.4.2-linux-x86_64/bin/../node/bin/node --no-warnings /bigdata/kibana-6.4.2-linux-x86_64/bin/../src/cli

root    18866  0.0  0.0  12944  960 pts/4    R+  20:55  0:00 grep --color=auto node

3.4. kibana 安全控制访问

xxx.xxx.xxx.xxx

查看iptables当前规则：

iptables -nL --line-number

添加规则：

iptables -I INPUT -p tcp --dport 52025 -j DROP

iptables -I INPUT -s xxx.xxx.xxx.xxx -p tcp --dport 52025 -j ACCEPT

iptables -I INPUT -s 127.0.0.1 -p tcp --dport 52025 -j ACCEPT

iptables -I INPUT -p tcp --dport 52125 -j DROP

iptables -I INPUT -s xxx.xxx.xxx.xxx -p tcp --dport 52125 -j ACCEPT

iptables -I INPUT -s 127.0.0.1 -p tcp --dport 52125 -j ACCEPT

删除规则：

iptables -D INPUT -p tcp --dport 52025 -j DROP

iptables -D INPUT -s xxx.xxx.xxx.xxx -p tcp --dport 52025 -j ACCEPT

iptables -D INPUT -s 127.0.0.1 -p tcp --dport 52025 -j ACCEPT

iptables -D INPUT -p tcp --dport 52125 -j DROP

iptables -D INPUT -s xxx.xxx.xxx.xxx -p tcp --dport 52125 -j ACCEPT

iptables -D INPUT -s 127.0.0.1 -p tcp --dport 52125 -j ACCEPT

3.5. 更改端口需要更改三个地方：

kibanba配置文件

logstash的配置文件

es的配置文件

3.6. 开关index

curl -XPOST "http://localhost:52125/server-2018.04.30/_close"

curl -XPOST "http://localhost:52125/server-2018.04.30/_open"

3.7. 查看es状态

查看一个node：

GET /_cat/nodes?v&h=name,port,sm,hp

kibana查看一个索引：

GET /_cat/segments/server-2018.04.30?v&h=shard,segment,size,size.memory

查看集群运行状态所有接口：

https://blog.csdn.net/u013673976/article/details/73556650

集群重启：

https://www.jianshu.com/p/7b010806c58e

清缓存：

https://doc.yonyoucloud.com/doc/mastering-elasticsearch/chapter-5/54_README.html