安装Elasticsearch、Logstash、Kibana与Redis以实现一个日志收集平台
elasticsearch版本: elasticsearch-2.2.0
logstash版本: logstash-2.2.2
kibana版本: kibana-4.3.1-darwin-x64
jdk版本: jdk1.8.0_65
Logstash 社区通常习惯用 shipper,broker 和 indexer 来描述数据流中不同进程各自的角色。
broker一般选择redis。不过我见过很多运用场景里都没有用 logstash 作为 shipper(也是agent的概念),或者说没有用 elasticsearch 作为数据存储也就是说也没有 indexer。所以,我们其实不需要这些概念。只需要学好怎么使用和配置 logstash 进程,然后把它运用到你的日志管理架构中最合适它的位置就够了。
broker也可以使用kafka作为替代。
Elasticsearch
下载
⇒ wget https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-2.2.0.tar.gz
⇒ tar zxf elasticsearch-2.2.0.tar.gz
启动
⇒ ./elasticsearch
测试
⇒ curl -L -0 http://localhost:9200/
输出
{
"name" : "Mammomax",
"cluster_name" : "logstash_elasticsearch",
"version" : {
"number" : "2.2.0",
"build_hash" : "8ff36d139e16f8720f2947ef62c8167a888992fe",
"build_timestamp" : "2016-01-27T13:32:39Z",
"build_snapshot" : false,
"lucene_version" : "5.4.1"
},
"tagline" : "You Know, for Search"
}
Logstash
下载
⇒ wget https://download.elastic.co/logstash/logstash/logstash-2.2.2.tar.gz
⇒ tar zxf logstash-2.2.2.tar.gz
启动
⇒ ./bin/logstash -e 'input{stdin{}}output{stdout{codec=>rubydebug}}'
测试
Kibana
下载
⇒ wget https://download.elastic.co/kibana/kibana/kibana-4.3.1-darwin-x64.tar.gz
⇒ tar zxf kibana-4.3.1-darwin-x64.tar.gz
启动(通常在es之后)
⇒ ./kibana
输出
测试
#通过浏览器访问本地链接
http://localhost:5601/
安装详见文章: Redis (1) —— 安装
略
参考来源:
elk+redis实现nginx日志集中化管理
ELK+redis搭建nginx日志分析平台
使用elk+redis搭建nginx日志分析平台
logstash elasticsearch redis Kibana 收集Nginx 和Tomcat日志配置
Elastic + kibana + logstash + redis 对mongodb, nginx日志进行分析