ELK入门

一、es安装

elasticsearch-2.3.5.zip

  • config/elasticsearch.yml,将network.host改为0.0.0.0,为了从外网能访问到
  • 切换用户角色,因为root用户没有启动权限,给用户添加可执行权限     
    • chmod 777 elasticsearch-2.3.5/
    • chown -R liyongliang elasticsearch-2.3.5/
  • 进入到es的bin目录下./elasticsearch 启动es
  • 安装head插件

插件安装方法1:

1.elasticsearch/bin/plugin -install mobz/elasticsearch-head

2.运行es

3.打开http://localhost:9200/_plugin/head/

插件安装方法2:

1.https://github.com/mobz/elasticsearch-head下载zip 解压

2.建立elasticsearch-1.0.0\plugins\head\

3.将解压后的elasticsearch-head-master文件夹下的文件copy到head下

4.运行es

5.打开http://localhost:9200/_plugin/head/

 

然后可以打开页面localhost:9200,将会看到以下内容:

ELK入门_第1张图片

返回展示了配置的cluster_name和name,以及安装的ES的版本等信息。

刚刚安装的head插件,它是一个用浏览器跟ES集群交互的插件,可以查看集群状态、集群的doc内容、执行搜索和普通的Rest请求等。现在也可以使用它打开 localhost:9200/_plugin/head 页面来查看ES集群状态:

ELK入门_第2张图片

可以看到,现在,ES集群中没有index,也没有type,因此这两条是空的。

 

二、安装logstash

a、下载logstash-2.0.0.zip

解压logstash-2.0.0.zip,在安装目录下新建conf文件夹,在conf文件夹下新建logstash.conf,加入内容:

input {

  file {

    path => "/usr/local/apache-tomcat-7.0.8/logs/catalina.*.log"

    start_position => beginning

  }

}

output {

  elasticsearch {

        action => "index"

        hosts => ["127.0.0.1:9200"]

        index  => "applog"

        }

  stdout { codec => rubydebug }

}

 

b、修改文件权限 chmod -R 777 logstash-2.0.0/     -R:代表将logstash-2.0.0下的所有文件都改成777  递归修改

C、 ./logstash -f /usr/local/logstash/logstash-2.0.0/conf/logstash.conf

 

logstash 文档说明

https://www.elastic.co/guide/en/logstash/current/plugins-outputs-elasticsearch.html

三、安装kibana

a、解压kibana-4.3.3-linux-x64.tar.gz

b、config下的kibana.yml可以修改访问端口及es相关配置,我用的默认配置。bin目录下的kibana加执行权限,主目录下的node/bin/的node和npm加执行权限,执行bin下的kibana,启动kibana。访问http://127.0.0.1:5601端口,kibana的web查看页面。

 

四、架构图

ELK入门_第3张图片

Logstash收集AppServer产生的Log,并存放到ElasticSearch集群中,而Kibana则从ES集群中查询数据生成图表,再返回给Browser

 

 

 

用浏览器打开该地址:

ELK入门_第4张图片

为了后续使用Kibana,需要配置至少一个Index名字或者Pattern,它用于在分析时确定ES中的Index。这里我输入之前配置的Index名字applog,Kibana会自动加载该Index下doc的field,并自动选择合适的field用于图标中的时间字段:

ELK入门_第5张图片

点击Create后,可以看到左侧增加了配置的Index名字:

ELK入门_第6张图片

接下来切换到Discover标签上,注意右上角是查询的时间范围,如果没有查找到数据,那么你就可能需要调整这个时间范围了,这里我选择Today:

ELK入门_第7张图片

接下来就能看到ES中的数据了:

ELK入门_第8张图片

执行搜索看看呢:

ELK入门_第9张图片

点击右边的保存按钮,保存该查询为search_all_logs。接下来去Visualize页面,点击新建一个柱状图(Vertical Bar Chart),然后选择刚刚保存的查询search_all_logs,之后,Kibana将生成类似于下图的柱状图(只有10条日志,而且是在同一时间段的,比较丑,但足可以说明问题了:)  ):

ELK入门_第10张图片

你可以在左边设置图形的各项参数,点击Apply Changes按钮,右边的图形将被更新。同理,其他类型的图形都可以实时更新。

点击右边的保存,保存此图,命名为search_all_logs_visual。接下来切换到Dashboard页面:

ELK入门_第11张图片

单击新建按钮,选择刚刚保存的search_all_logs_visual图形,面板上将展示该图:

ELK入门_第12张图片

如果有较多数据,我们可以根据业务需求和关注点在Dashboard页面添加多个图表:柱形图,折线图,地图,饼图等等。当然,我们可以设置更新频率,让图表自动更新:

ELK入门_第13张图片

如果设置的时间间隔够短,就很趋近于实时分析了。

到这里,ELK平台部署和基本的测试已完成。

你可能感兴趣的:(技术博客)