ELK stack安装

ELK stack安装

• logstash 收集日志
• elasticsearch 存储+搜索
• kibana 显示

前置条件

需要先安装java

yum install -y java

安装

• 可下载源码，解压，即可以运行
• 可yum安装

源码解压

从官网下载tar.gz文件，解压后，即可使用。官网下载地址：

https://www.elastic.co/downloads

centos yum安装

elasticsearch

$ rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch
$ cat /etc/yum.repos.d/elasticsearch.repo
    [elasticsearch-2.x]
    name=Elasticsearch repository for 2.x packages
    baseurl=http://packages.elastic.co/elasticsearch/2.x/centos
    gpgcheck=1
    gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch
    enabled=1
$ yum install elasticsearch

logstash

$ rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch

// 配置yum
$ cat /etc/yum.repos.d/logstash.repo
    [logstash-2.3]
    name=Logstash repository for 2.3.x packages
    baseurl=https://packages.elastic.co/logstash/2.3/centos
    gpgcheck=1
    gpgkey=https://packages.elastic.co/GPG-KEY-elasticsearch
    enabled=1

// 安装logstash
$ yum -y install logstash

kibana

// 安装key. 
rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch

// 配置yum
$ vim /etc/yum.repos.d/kibana.repo 
    [kibana-4.5]
    name=Kibana repository for 4.5.x packages
    baseurl=http://packages.elastic.co/kibana/4.5/centos
    gpgcheck=1
    gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch
    enabled=1
    
// 安装kibana
$ yum install -y kibana

启动准备

elasticsearch

设置jvm.options,

-XX:ParallelGCThreads=3 #3可修改

elasticsearch 不能用root启动；

groupadd elsearch
useradd elsearch -g elsearch -p elasticsearch
su elsearch

修改 /etc/security/limits.conf, 增加：

elsearch soft nofile 819200
elsearch hard nofile 819200
elsearch soft nproc 2048
elsearch hard nproc 4096
elsearch soft memlock unlimited
elsearch hard memlock unlimited

修改 /etc/security/limits.d/90-nproc.conf：

*          soft    nproc    1024

修改为

*          soft    nproc    2048

修改 /etc/sysctl.conf。如果在docker中，修改/etc/sysctl.conf文件，需要--privileged权限。：

vm.max_map_count=655360

这个文件修改后，需要执行：

sysctl -p

修改配置文件 config/elasticsearch.yml

cluster.name: myes
node.name: abcdocker-node-1
path.data: /home/worker/data/www/src/data/es-date
path.logs: /home/worker/data/www/src/logs/elasticsearch
bootstrap.memory_lock: true
network.host: 172.17.0.2
http.port: 9200

logstash

设置jvm.options,

-XX:ParallelGCThreads=3 #3可修改

kibana

启动前，需设置elasticsearch访问端口

修改配置文件 config/kibana.yml

elasticsearch.url: "http://172.17.0.2:9200"
server.port: 80

启动命令

elasticsearch

进入elasticsearch的bin目录：

./elasticsearch -d

-d参数是后台运行

logstash

bin/logstash -e 'input { stdin{} } output { stdout{ codec => rubydebug} }'

写入elasticsearch

bin/logstash -e 'input { stdin{} } output { stdout{ codec => rubydebug} elasticsearch { hosts => ["172.17.0.2:9200"] index => "logstash-%{+YYYY.MM.dd}" } }'

可用配置文件方式，配置文件内容：

input{
    file{
        path => ["/home/worker/data/www/runtime/demo/err.log"]
        type => "system-log"
        start_position => "beginning"
    }
    stdinP{}
}

filter{
}

output{
    elasticsearch{
        hosts => ["172.17.0.1:9200"]
        index => "logstash-%{+YYYY.MM.dd}"
    }
    stdout{
        codec=>rubydebug
    }
}

启动方式：

bin/logstash -f /etc/logstash/conf.d/file.conf

kibana

 bin/kibana

参考

http://www.cnblogs.com/xing901022/p/4805586.html
https://kibana.logstash.es/content/
https://caidezhi.gitbooks.io/elk-getting-started-guide/content/