ELK实验部署过程

ELK集群部署环境准备

配置ELK日志分析系统

192.168.1.51	elk-node1	es、logstash、kibana
192.168.1.52	elk-node2	es、logstash
192.168.1.53	apache	logstash

（我这里是把虚拟机的配置全部都改为2核3G的）

  2台linux 第1台：elk-node1 第2台：node2（双核、内存4G）

关闭防护机制

iptables -F

setenforce 0

systemctl stop firewalld

第1台

修改名字

hostnamectl    set-hostname elk-node1

 bash

主机映射vim修改配置文件在末尾添加（两台都做）

  vim /etc/hosts

192.168.1.51 elk-node1

192.168.1.52 elk-node2

第2台

修改名字

 hostnamectl    set-hostname elk-node2

 bash

1，2台都用系统自带java环境

 java -version

2台rz上传软件包 第1台软件包全部上传 第2台只上传3个

 

安装elasticsearch软件 （rz   logstash-5.5.1.rpm和elasticsearch-5.5.0.rpm）

第1，2台

 rpm -ivh elasticsearch-5.5.0.rpm

rpm  -ivh logstash-5.5.1.rpm

重新识别系统中的服务并且设置为开机自启动

 systemctl daemon-reload

 systemctl enable elasticsearch.service

修改node1，node2的配置文件

 vim /etc/elasticsearch/elasticsearch.yml

http.cors.enabled: true

http.cors.allow-origin: "*"

创建目录并且把用户和组都改为elasticsearch

 mkdir -p /data/elk_data

 chown elasticsearch:elasticsearch /data/elk_data/

启动elasticsearch.服务并且查看端口

 systemctl start elasticsearch.service

 netstat -anpt | grep 9200

访问节点ip

 http://192.168.1.51:9200/

 http://192.168.1.52:9200/

检查集群健康状态为green代表健康

 http://192.168.1.51:9200/_cluster/health?pretty

 http://192.168.1.52:9200/_cluster/health?pretty

 

第1台

安装elasticsearch-head插件

解压软件包  （rz node-v8.2.1-linux-x64.tar.gz）

 tar xf node-v8.2.1-linux-x64.tar.gz -C /usr/local/

做链接

 ln -s /usr/local/node-v8.2.1-linux-x64/bin/node /usr/bin/node

 ln -s /usr/local/node-v8.2.1-linux-x64/bin/npm /usr/local/bin/

查看版本

node -v

npm -v

解压head包（rz  elasticsearch-head.tar.gz）

 tar xf elasticsearch-head.tar.gz -C /data/elk_data/

cd到elk_data

 cd /data/elk_data/

修改用户和组

 chown -R elasticsearch:elasticsearch elasticsearch-head/

cd到elasticsearch-head/下

 cd elasticsearch-head/

安装npm （在/data/elk_data/elasticsearch-head目录下使用该命令安装）

 npm install

cd到site/下并且把app.js做个备份然后编辑

 cd _site/

 cp app.js{,.bak}

 vim app.js

启动npm并且启动elasticsearch

 npm run start &

 systemctl start elasticsearch   如果访问后没有发现node2 

                              cd /data/elk_data/

                              rm -rf nodes/

查看端口是否有9100

 netstat -lnpt | grep 9100

访问ip查看节点

  http://192.168.1.51:9100/

插入数据测试类型为test

 curl -XPUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'Content-Type: application/json' -d '{ "user": "zhangsan","mesg":"hello word" }'

刷新http://192.168.1.51:9100/查看索引是否有变化

安装logstash

第1台也就是node1上安装logstash

rpm -ivh logstash-5.5.1.rpm  

启动logstash服务并且做一个软链接

systemctl start logstash

ln -s /usr/share/logstash/bin/logstash /usr/local/bin/

logstash 命令行常用的选项

-f：通过这个命令可以指定Logstash的配置文件，根据配置文件配置logstashe

-e: 后面跟着字符串，该字符串可以被当做logstash的配置（如果是"”则默认使用stdin作为输入，stdout作为输出）

-t：测试配置文件是否正确，然后退出

 

启动一个 logstash -e 在命令行执行 input

 logstash -e 'input { stdin{} } output { stdout{} }'

标准输入是靠键盘输入标准输出是直接在屏幕上输出

 

使用rubydebug 显示详细输出 codec

logstash -e 'input { stdin{} } output { stdout{ codec =>rubydebug} }'

使用logstash将信息写入到elasticsearch中

 logstash -e 'input {stdin{} } output {  elasticsearch { hosts=> ["192.168.200.111:9200"]} }'

www.baidu.com

www.sina.com.cn

www.gogle.com

配置收集系统日志 第1台

cd到logstash写入配置文件

 cd /etc/logstash/conf.d/

 vim systemc.conf

input {

    file {

        path => "/var/log/messages"

        type => "system"

        start_position => "beginning"

   }

}

output  {

    elasticsearch {

        hosts => ["192.168.1.51:9200"]

        index => "system-%{+YYYY.MM.dd}"

    }

}

重启logstash

 systemctl restart logstash

加载systemc.conf 文件并且查看是否打入到es当中

logstash -f systemc.conf

安装kibana第1台（rz  kibana-5.5.1-x86_64.rpm）

 rpm -ivh kibana-5.5.1-x86_64.rpm

设置为开机自启动

 systemctl enable kibana.service

修改配置文件并启动服务

 vim /etc/kibana/kibana.yml

启动服务并且查看端口

 systemctl restart kibana.service

 netstat -lnpt | grep 5601

logstash -f /etc/logstash/conf.d/system.conf

访问 http://192.168.1.51:5601/

 

第3台

开启第3台起名：apache

 hostname apache

 bash

关闭防护机制

 iptables -F

 systemctl stop firewalld

 setenforce 0

启动httpd（yum -y install httpd）

 systemctl start httpd

 

查看java版本 

java -version

rz上传软件包

 

rpm安装并且设置为开机自启动

 rpm -ivh logstash-5.5.1.rpm

 systemctl enable logstash.service

cd到logstash下

 cd /etc/logstash/conf.d/

vim编辑配置文件

 vim apache_log.conf

 input {

   file {

        path => "/var/log/httpd/access_log"

        type => "access"

        start_position => "beginning"

   }

  file {

     path => "/var/log/httpd/error_log"

     type => "error"

     start_position => "beginning"

  }

}

output  {

    if [type] == "access" {

       elasticsearch {

        hosts => ["192.168.1.51:9200"]

        index => "apache_access-%{+YYYY.MM.dd}"

     }

 }

  if [type] == "error" {

    elasticsearch {

        hosts => ["192.168.1.51:9200"]

        index => "apache_error-%{+YYYY.MM.dd}"

    }

  }

}

[root@apache conf.d]# logstash -f apache_log.conf //加载文件

systemctl start logstash

ln -s /usr/share/logstash/bin/logstash /usr/local/bin/（找不到命令试下这两个命令）

这里输入信息后退出回出现apache_access索引 

访问 192.168.1.53也就是第3台连续刷新然后查看 http://192.168.1.51:9100/ 

 

选择查看

 

 

 

ELK端口号：

elasticsearch：9200    

elasticsearch-head：9100

logstash：9600    input：4560

Logstash agent：9601

kibana：5601