ELK日志监控平台

一 elk 开源日志分析平台介绍

1 介绍

elasticsearch 是一个开源分布式搜索引擎，它的特点是：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动负载等特性
logstash：是一个完全开源的工具，他可以对日志进行收集，过滤，并将其存储供以后使用
kibana：是一个开源和免费的工具，它可以为logstash和elasticsearch 提供日志分析友好的web界面，可以汇总，分析和搜索日志等等。

2 ELK 进行日志分析的步骤

首先，架构方面，apache 是有日志文件的，他的每个请求的状态都有日志文件记录，其次，需要有队列，保证日志的完整性，而redis的list结构整好可以作为队列使用，然后分析使用elasticsearch进行分析查询

3 环境需要

需要一个分布式的，日志收集和分析系统，logstash有agent和indexer两个角色，对于agent角色，放在单独的web机器上，通过其不断读取日志文件，将接受的日志文件发送到redis上，通过indexer 进行接受和分析，分析之后存储到elasticsearch进行搜索分析，再由kibana 进行日志web界面展示

二 实验环境的搭建：

软件包：
链接：https://pan.baidu.com/s/123jH9tt8ggxdARKA-Z_h6g
密码：e0l7

1 搭建基本的elasticsearch分布式环境

1 软件的安装

2 服务的配置

server1 配置

配置本机hostname

配置集群名称

配置数据目录位置

配置内存锁定，只使用内存，不使用交换分区，加快运行效率

配置本机IP地址及监听端口，其端口可以修改，建议保持默认

配置集群成员

server2 配置



server3 配置



启动服务并查看相关端口

3 安装第三方插件，以实现图形化展示

4 实验结果，server1为master serve2和server3 为从机

5 上传数据查看结果

6 状态配置：

角色共有三种：
master：负责维护集群状态
worker: 负责数据存储
服务端点： 负责服务提供，用以减轻其他服务压力
支持的状态有四种，默认是master true data true
master true 表示可以参与master 的竞选，如果其为false，则表示其不能参与竞选
data true 表示其是数据存储节点，用于数据的存储，如果为false,则表示其不能用于数据存储
配置server1 的角色为master，负责集群的调度和管理


配置server2 和server3 为worker，负责数据的存储




重载服务



查看其状态：

7 使用API调度

1 使用API查看集群状态

2 格式化显示其状态

3 查看之间建立的文件

4 删除之前建立的文件并查看

2 安装 logstash，用于日志的提取和分析

1 服务的安装

2 使用命令行的方式测试其输入和输出

退出使用Ctrl+c

3 使用标准输出到屏幕

4 配置多个输出，并输出到elasticsearch

5 其加载配置文件位置

6 创建配置文件使其输出到elasticsearch

运行并查看结果

7 使用输出到文件

8 配置其输入为系统日志，并授予系统日志其他用户和组的读权限

9 日志读取计数有关

1 删除日志



2 重启服务并查看

查看其只有后面的日志，没有前面的日志

此处在使用前台运行的情况下，会在本地生成一个隐藏文件，用于记录读取的位置

删除此文件并重启查看

10 inode 相关

默认的inode 会重复利用，如此可能造成数据的文件锁定混乱而导致日志的读取不准确，logstash可以在读取该文件是锁定inode号，使其时刻处于占用状态，此时，当创建文件时，将不会导致已被占用的inode号进行分配而导致日志读取混乱

11 配置远程日志同步

运行后会自动生成514的tcp和udp端口用于同步

被同步端配置



写入测试日志

查看日志同步情况

12 配置多行日志输入

13 配置输出到elasticsearch中

查看结果


使用其标准化在input端的配置


删除之前的读取情况并删除日志重新导入操作

3 redis+apache

1 Redis 搭建

2 httpd的安装与基本配置

3 创建HTTP日日志读取

查看httpd的日志并授权，因为目录需要执行权限才能读取目录中的内容

创建文件：

启动并查看是否写入redis

4 配置输出到Redis和标准化输出

5 配置标准化输出

6 apache 日志的标准化输出

日志格式化模板：


http日志格式定义

7 将 redis 中的http日志取出到标准输出

启动服务

查看redis情况

8 使用server1 存数据至redis ，使用server2 取数据到elasticsearch 中

访问看其日志是否增加

4 kibana 安装及配置

1 安装kibana

2 配置

配置其访问es及自身打开一个索引

3 启动服监听端口

4 访问

访问查看并绑定apache日志，此处的日志名称必须和上述的日志并称一致，否则不能匹配

查看该日志的访问情况，此处的时间一定要标准，否则不能看到现象，因为范围可能不对

可以通过添加来完成列表，以表格的形式更加清晰的显示结果

5 创建相关图形，用于监控

使用markdown 语法创建联系人信息







使用计数器实现apache访问量的查看

使用柱状图实现访问排行榜














将其汇聚，并进行保存