ELK入门

一、es安装

elasticsearch-2.3.5.zip

• config/elasticsearch.yml，将network.host改为0.0.0.0，为了从外网能访问到
• 切换用户角色，因为root用户没有启动权限，给用户添加可执行权限     
• • chmod 777 elasticsearch-2.3.5/
  • chown -R liyongliang elasticsearch-2.3.5/
• 进入到es的bin目录下./elasticsearch 启动es
• 安装head插件

插件安装方法1：

1.elasticsearch/bin/plugin -install mobz/elasticsearch-head

2.运行es

3.打开http://localhost:9200/_plugin/head/

插件安装方法2：

1.https://github.com/mobz/elasticsearch-head下载zip 解压

2.建立elasticsearch-1.0.0\plugins\head\

3.将解压后的elasticsearch-head-master文件夹下的文件copy到head下

4.运行es

5.打开http://localhost:9200/_plugin/head/

 

然后可以打开页面localhost:9200，将会看到以下内容：

返回展示了配置的cluster_name和name，以及安装的ES的版本等信息。

刚刚安装的head插件，它是一个用浏览器跟ES集群交互的插件，可以查看集群状态、集群的doc内容、执行搜索和普通的Rest请求等。现在也可以使用它打开 localhost:9200/_plugin/head 页面来查看ES集群状态：

可以看到，现在，ES集群中没有index，也没有type，因此这两条是空的。

 

二、安装logstash

a、下载logstash-2.0.0.zip

解压logstash-2.0.0.zip，在安装目录下新建conf文件夹，在conf文件夹下新建logstash.conf，加入内容：

input {

  file {

    path => "/usr/local/apache-tomcat-7.0.8/logs/catalina.*.log"

    start_position => beginning

  }

}

output {

  elasticsearch {

        action => "index"

        hosts => ["127.0.0.1:9200"]

        index  => "applog"

        }

  stdout { codec => rubydebug }

}

 

b、修改文件权限 chmod -R 777 logstash-2.0.0/     -R：代表将logstash-2.0.0下的所有文件都改成777  递归修改

C、 ./logstash -f /usr/local/logstash/logstash-2.0.0/conf/logstash.conf

 

logstash 文档说明

https://www.elastic.co/guide/en/logstash/current/plugins-outputs-elasticsearch.html

三、安装kibana

a、解压kibana-4.3.3-linux-x64.tar.gz

b、config下的kibana.yml可以修改访问端口及es相关配置，我用的默认配置。bin目录下的kibana加执行权限，主目录下的node/bin/的node和npm加执行权限，执行bin下的kibana，启动kibana。访问http://127.0.0.1:5601端口，kibana的web查看页面。

 

四、架构图

Logstash收集AppServer产生的Log，并存放到ElasticSearch集群中，而Kibana则从ES集群中查询数据生成图表，再返回给Browser

 

 

 

五

用浏览器打开该地址：

为了后续使用Kibana，需要配置至少一个Index名字或者Pattern，它用于在分析时确定ES中的Index。这里我输入之前配置的Index名字applog，Kibana会自动加载该Index下doc的field，并自动选择合适的field用于图标中的时间字段：

点击Create后，可以看到左侧增加了配置的Index名字：

接下来切换到Discover标签上，注意右上角是查询的时间范围，如果没有查找到数据，那么你就可能需要调整这个时间范围了，这里我选择Today：

接下来就能看到ES中的数据了：

执行搜索看看呢：

点击右边的保存按钮，保存该查询为search_all_logs。接下来去Visualize页面，点击新建一个柱状图（Vertical Bar Chart），然后选择刚刚保存的查询search_all_logs，之后，Kibana将生成类似于下图的柱状图（只有10条日志，而且是在同一时间段的，比较丑，但足可以说明问题了：)  ）：

你可以在左边设置图形的各项参数，点击Apply Changes按钮，右边的图形将被更新。同理，其他类型的图形都可以实时更新。

点击右边的保存，保存此图，命名为search_all_logs_visual。接下来切换到Dashboard页面：

单击新建按钮，选择刚刚保存的search_all_logs_visual图形，面板上将展示该图：

如果有较多数据，我们可以根据业务需求和关注点在Dashboard页面添加多个图表：柱形图，折线图，地图，饼图等等。当然，我们可以设置更新频率，让图表自动更新：

如果设置的时间间隔够短，就很趋近于实时分析了。

到这里，ELK平台部署和基本的测试已完成。