ELK日志分析系统

目录

一.ELK概述

1.1 ELK简介

1.2 ELK日志组件

1.2.1 ELK组件介绍

1.3 日志处理步骤

二. Elasticsearch 集群部署

2.1 关闭防火墙

​2.2 ELK Elasticsearch 集群部署（在Node1，Node2节点上操作） ​

 2.2.1 更改主机名​

2.2.2 配置域名解析 ​

2.2.3 查看java环境​

2.3 部署Elasticsearch软件

2.4  将软件包安装到/opt目录下​

2.5 加载系统服务​

 2.6 修改Elasticsearch主配置文件​

2.7 创建数据存放路径并授权 ​

2.8 启动Elasticsearch是否成功开启​

2.9 查看节点信息

三.安装Elasticsearch-head插件

4.1 编译安装node

4.2 安装phantomjs​

4.3 安装Elasticsarch-head数据可视化工具 ​

 4.4 修改Elasticsearch主配置文件（这边展示node1，node2与之相同）​

4.5 启动Elasticsearch-head服务

 4.6 访问浏览器​

4.7 插入索引​

 五. ELK Logstash部署（在Apache节点上操作）

5.1 安装logstash​

     5.1.1  修改主机名​

     5.1.2 安装httpd并启动​

     5.1.3 安装java环境​

     5.1.4 安装logstash​

5.2 测试logstash(Apache)与 elasticsearch（node）功能是否正常

 5.2.1 输入采用标准输入 输出采用标准输出—登录192.168.119.20 在Apache服务器上​

5.2.2   使用 rubydebug 输出详细格式显示，codec 为一种编解码器

5.2.3 使用logstash将信息写入elasticsearch中​

5.3  定义 logstash配置文件

5.3.1 给目录可读权限​

 5.3.2 修改logstash配置文件​

5.3.3重启服务 ​

5.3.4 访问浏览器

​六.ELK Kiabana部署（在Noed1节点上操作）​

​6.1  安装Kiabana​

6.2 设置Kibana的主配置文件 ​

6.3 启动Kibana服务​

6.4 验证Kibana，访问浏览器

6.5 将 Apache 服务器的日志（访问的、错误的）添加到 Elasticsearch 并通过 Kibana 显示 ​

6.6 浏览器访问，查看索引信息能发现两个日志​

 6.7 浏览器访问

---

一.ELK概述

1.1 ELK简介

ELK平台是一套完整的日志集中处理解决方案，将ElasticSearch、Logstash和Kiabana 三个开源工具配合使用，完成更强大的用户对日志的查询、排序、统计需求。

1.2 ELK日志组件

• elasticsearch (es) :通过搭建群集;存储日志数据，索引日志数据
• logstash :收集日志，收集到了后给es存储
• kibana :视图形式展现日志信息，更加人性化

1.2.1 ELK组件介绍

ElasticSearch
1. 是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。
2. Elasticsearch 是用Java开发的，可通过RESTful Web接口，让用户可以通过浏览器与                        Elasticsearch通信。
3.  Elasticsearch是一个实时的、分布式的可扩展的搜索引擎，允许进行全文、结构化搜索，它通          常用于索引和搜索大容量的日志数据，也可用于搜索许多不同类型的文档

Logstash
1.  作为数据收集引擎。它支持动态的从各种数据源搜集数据，并对数据进行过滤、分析、丰富、           统一格式等操作，然后存储到用户指定的位置。一般会发送给Elasticsearch。                        2. Logstash 由Ruby 语言编写，运行在Java虚拟机（JVM）上，是一款强大的数据处理工具，可以实现数据传输、格式处理、格式化输出。Logstash具有强大的插件功能，常用于日志处理。

Kiabana
1. Kibana 通常与ElasticSearch一起部署，Kibana是Elasticsearch的一个功能强大的数据可视化           Dashboard，Kibana提供图形化的web界面来浏览Elasticsearch日志数据，可以用来汇总、分             析和搜索重要数据。

1.3 日志处理步骤

1. 将日志进行集中化管理
2. 将日志格式化(Logstash)并输出到Elasticsearch
3. 对格式化后的数据进行索引和存储(Elasticsearch)
4. 前端数据的展示(Kibana)

二. Elasticsearch 集群部署

2.1 关闭防火墙

2.2 ELK Elasticsearch 集群部署（在Node1，Node2节点上操作） 

 2.2.1 更改主机名

2.2.2 配置域名解析 2.2.3 查看java环境

2.3 部署Elasticsearch软件

2.4  将软件包安装到/opt目录下2.5 加载系统服务 2.6 修改Elasticsearch主配置文件2.7 创建数据存放路径并授权 

2.8 启动Elasticsearch是否成功开启 2.9 查看节点信息

 

三.安装Elasticsearch-head插件

Elasticsearch 在 5.0 版本后，Elasticsearch-head 插件需要作为独立服务进行安装，需要使用npm工具（NodeJS的包管理工具）安装Elasticsearch-head 需要提前安装好依赖软件 node 和 phantomjs

node：是一个基于 Chrome V8 引擎的 JavaScript 运行环境
phantomjs：是一个基于 webkit 的JavaScriptAPI，可以理解为一个隐形的浏览器，任何基于 webkit 浏览器做的事情，它都可以做到

4.1 编译安装node，这边只演示node2上，node1上操作相同  4.2 安装phantomjs4.3 安装Elasticsarch-head数据可视化工具  4.4 修改Elasticsearch主配置文件（这边展示node1，node2与之相同）4.5 启动Elasticsearch-head服务

必须在解压后的 elasticsearch-head 目录下启动服务，进程会读取该目录下的 gruntfile.js 文件，否则可能启动失败

 4.6 访问浏览器4.7 插入索引

 五. ELK Logstash部署（在Apache节点上操作）

5.1 安装logstash5.1.1  修改主机名5.1.2 安装httpd并启动5.1.3 安装java环境 5.1.4 安装logstash

5.2 测试logstash(Apache)与 elasticsearch（node）功能是否正常

字段描述解释：

• -f  通过这个选项可以指定logstash的配置文件，根据配置文件配置logstash
• -e  后面跟着字符串 该字符串可以被当做logstash的配置（如果是“空”则默认使用stdin做为输入、stdout作为输出）
• -t  测试配置文件是否正确，然后退出

 logstash -f  配置文件名字      去连接elasticsearch 

 5.2.1 输入采用标准输入 输出采用标准输出—登录192.168.119.20 在Apache服务器上5.2.2   使用 rubydebug 输出详细格式显示，codec 为一种编解码器

5.2.3 使用logstash将信息写入elasticsearch中

5.3  定义 logstash配置文件

Logstash 配置文件基本由三部分组成：input、output 以及 filter（可选，根据需要选择使用）5.3.1 给目录可读权限 5.3.2 修改logstash配置文件5.3.3重启服务  5.3.4 访问浏览器

 六.ELK Kiabana部署（在Noed1节点上操作）

6.1  安装Kiabana

6.2 设置Kibana的主配置文件 6.3 启动Kibana服务 6.4 验证Kibana，访问浏览器

6.5 将 Apache 服务器的日志（访问的、错误的）添加到 Elasticsearch 并通过 Kibana 显示 6.6 浏览器访问，查看索引信息能发现两个日志 6.7 浏览器访问

添加索引apache_error-*添加索引apache_access-*