ELK的搭建指南

1. Elastic Stack简介

ELK是三款软件的简称，分别是Elasticsearch、 Logstash、Kibana组成，在发展的过程中，又有新成员Beats的加入，所以就形成了Elastic Stack。所以说，ELK是 旧的称呼，Elastic Stack是新的名字。

使用数据源->fileBeat->Elasticsearch->kibana构建，本文档将详细介绍单机ELK的搭建。

1. Elasticsearch的安装与部署

2.1 准备一台linux服务器，必须是64位

2.2 在linux上安装1.8及以上版本的jdk必须是64位

  2.2.1 在Linux创建一个用户为 es 密码为es

     2.2.2 新增文件夹放jdk

 2.2.3将jdk安装包放入java文件夹

2.2.4查看jdk版本并通过root用户将java文件授权给es

 

2.2.5使用es用户解压jdk

2.2.6 修改jdk的配置

将下面配置复制到profile最后

export JAVA_HOME=/usr/local/java/jdk1.8.0_131

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH

export JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin

export PATH=$PATH:${JAVA_PATH}

退出并保存

2.2.7使用命令让其生效

2.3 在linux上安装ES

     2.3.1创建文件夹并将安装包放入，记得通过root用户将es文件夹授权给es

2.3.2切换es用户解压安装包

2.3.3修改配置文件

2.3.4添加配置

network.host: 0.0.0.0

http.port: 9200

bootstrap.system_call_filter: false

  2.3.5修改jvm启动参数

-Xms128m #根据自己机器情况修改

-Xmx128m

2.3.6切换root用户授权

添加.max_map_count=655360，并使其生效

2.3.7启动es

2.3.8查看报错信息

切换root用户，编辑limits.conf添加以下内容，保存并退出

* soft nofile 65536

* hard nofile 131072

* soft nproc 2048

* hard nproc 4096

vi /etc/security/limits.d/90-nproc.conf

#修改如下内容：

 * soft nproc 1024

#修改为

* soft nproc 4096

 

2.3.9切换es用户并且重新启动

2.3.10查看进程

2.3.11 网页访问http://192.168.81.133:9200/

 

解决方案 1.关闭防火墙

             service iptables stop

         2.开放端口号

        yum install iptables-services

在-A INPUT -m state --state NEW -m tcp -p tcp --dport 22 -j ACCEPT后面添加

       -A INPUT -m state --state NEW -m tcp -p tcp --dport 9200 -j ACCEPT

       -A INPUT -m state --state NEW -m tcp -p tcp --dport 9300 -j ACCEPT

保存并退出，并重启，查看

网页重新访问http://192.168.81.133:9200/

返回以下数据表示启动成功

使用命令后台默认启动

3.（可选）安装谷歌插件Elasticsearch-head,可查看并操作es

 

4.安装filebeats

   4.1解压

  4.3创建并修改配置

     创建配置文件 touch itcast-log.yml

  

修改配置文件，保存并退出

filebeat.inputs:

- type: log

  enabled: true

  paths:

   - /itcast/logs/*.log

  tags: ["web"]

  fields:

    from: itcast-im

  fields_under_root: true

setup.template.settings:

  index.number_of_shards: 3

output.elasticsearch:

  hosts: ["192.168.81.133:9200"]

 

启动成功

./filebeat -e -c itcast-log.yml

编辑/itcast/log/a.log文件，输入helloworld并保存退出

 

查看Elasticsearch-head的index状态

这里建议使用ES的集群，否则就会出现yellow

 

查看日志

说明filebeat->elasticsearch通道成功

 

5.安装kibana

  5.1解压

5.2修改配置文件

保存并退出，启动kibana

成功

访问kibana

添加端口号访问

添加成功

访问http://192.168.81.133:9001/

能看到helloworld就说明搭建完成了

解决单机安装的数据分片问题  

curl -H "Content-Type: application/json" -XPUT " http://168.10.7.159:9200/_settings" -d' {  "number_of_replicas" : 0 }'

 

等等。.