Elastic Stack（ELK）从入门到实践
Elasticsearch
- 1、Elastic Stack简介
- 2、Elasticsearch
-
- 2.1、简介
- 2.2、安装
-
- 2.2.1、版本说明
- 2.2.2、下载
- 2.2.3、单机版安装
- 2.2.4、elasticsearch-head
- 2.3、基本概念
- 2.4、RESTful API
-
- 2.4.1、创建非结构化索引
- 2.4.2、插入数据
- 2.4.3、更新数据
- 2.4.4、删除数据
- 2.4.5、搜索数据
- 2.4.6、DSL搜索
- 2.4.7、高亮显示
- 2.4.8、聚合
- 3、核心详解
-
- 3.1、文档
- 4、集群搭建
-
- 4.1、集群节点
- 4.2、搭建集群
- 4.3、分片和副本
- 4.4、故障转移
-
- 4.4.1、将data节点停止
- 4.4.2、将master节点停止
- 4.4.3 特别说明
- 4.5、分布式文档
-
- 4.5.1、路由
- 4.5.2、文档的写操作
- 4.5.3、搜索文档（单个文档）
- 4.5.4、全文搜索
- ————分割————
- 1、Nginx日志分析系统
-
- 1.1、项目需求
- 1.2、业务流程
- Beats
- 2、Filebeat（文本日志）
-
- 2.1、架构
- 2.2、部署与运行
- 2.3、读取文件
- 2.4、自定义字段
- 2.5、输出到Elasticsearch
- 2.6、Filebeat工作原理
- 2.7、读取Nginx日志文件
- 2.8 Module
-
- 2.8.1、nginx module配置
- 2.8.2、配置filebeat
- 3、Metricbeat（内存，IO）
-
- 3.1、Metricbeat组成
- 3.2、部署与收集系统指标
- 3.3、Module
- 3.4、Nginx Module
-
- 3.4.1、开启nginx的状态查询
- 3.4.2、配置Nginx Module
- 4、Kibana
-
- 4.1、配置安装
- 4.2、功能说明
- 4.3、数据探索
- 4.4、Metricbeat 仪表盘
- 4.5、Nginx 指标仪表盘
- 4.6、Nginx 日志仪表盘
- 4.7、自定义图表
- 4.8、开发者工具
- 5、Logstash
-
- 5.1、简介
- 5.2 部署安装
- 5.3、配置详解
-
- 5.3.1、输入
- 5.3.2、过滤
- 5.3.3、输出
- 5.4、读取自定义日志
-
- 5.4.1、日志结构
- 5.4.2、编写配置文件
- 5.4.3、启动测试
- 5.4.4、输出到Elasticsearch
- 6、综合练习
-
- 6.1、流程说明
- 6.2、Filebeat
- 6.4、Logstash
- 6.5、Kibana
-
- 6.5.1、时间间隔的柱形图
- 6.5.2、各个操作的饼图分布
- 6.5.3、数据表格
- 6.5.4、制作Dashboard
ElasticStack 是一系列开源产品的合集，包括 Elasticsearch、Kibana、Logstash 以及 Beats 等，能够安全可靠地获取任何来源、任何格式的数据，并且能够实时地对数据进行搜索、分析和可视化。
Logstash主要是⽤来⽇志的搜集、分析、过滤⽇志的⼯具。
Kibana是⼀个优秀的前端⽇志展示框架。
Kafka数据缓冲队列。
Filebeat⾪属于Beats,轻量级数据收集引擎。
1、Elastic Stack简介
ELK实际上ELK是三款软件的简称，分别是Elasticsearch、
Logstash、Kibana组成，在发展的过程中，又有新成员Beats的加入，所以就形成了Elastic Stack。所以说，ELK是旧的称呼，ELKB也不好（防止以后越来越多新技术），Elastic Stack是新的名字。
全系的Elastic Stack技术栈包括：
Elasticsearch
Elasticsearch 基于java，是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引
副本机制，restful风格接口，多数据源，自动搜索负载等。
Logstash
Logstash 基于java，是一个开源的用于收集,分析和存储日志的工具。
Kibana
Kibana 基于nodejs，也是一个开源和免费的工具，Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的
Web 界面，可以汇总、分析和搜索重要数据日志。
Beats
Beats是elastic公司开源的一款采集系统监控数据的代理agent，是在被监控服务器上以客户端形式运行的数据收集器的统称，可以直接把数据发送给Elasticsearch或者通过Logstash发送给Elasticsearch，然后进行后续的数据分析活
动。
Beats由如下组成:
- Packetbeat：是一个网络数据包分析器，用于监控、收集网络流量信息，Packetbeat嗅探服务器之间的流量，解析应用层协议，并关联到消息的处理，其支 持ICMP (v4 and v6)、DNS、HTTP、Mysql、PostgreSQL、Redis、MongoDB、Memcache等协议；
- Filebeat：用于监控、收集服务器日志文件，其已取代 logstash forwarder；
- Metricbeat：可定期获取外部系统的监控指标信息，其可以监控、收集 Apache、HAProxy、MongoDB、MySQL、Nginx、PostgreSQL、Redis、System、Zookeeper等服务；
- Winlogbeat：用于监控、收集Windows系统的日志信息；
2、Elasticsearch
2.1、简介
ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。
我们建立一个网站或应用程序，并要添加搜索功能，但是想要完成搜索工作的创建是非常困难的。我们希望搜索解决方案要运行速度快，我们希望能有一个零配置和一个完全免费的搜索模式，我们希望能够简单地使用JSON通过HTTP来索引数据，我们希望我们的搜索服务器始终可用，我们希望能够从一台开始并扩展到数百台，我们要实时搜索，我们要简单的多租户，我们希望建立一个云的解决方案。因此我们利用Elasticsearch来解决所有这些问题及可能出现的更多其它问题。
官网：https://www.elastic.co/cn/products/elasticsearch
2.2、安装
2.2.1、版本说明
Elasticsearch的发展是非常快速的，所以在ES5.0之前，ELK的各个版本都不统一，出现了版本号混乱的状态，所以从5.0开始，所有Elastic Stack中的项目全部统一版本号。我们将基于6.5.4这一版本进行学习。
2.2.2、下载
地址：https://www.elastic.co/cn/downloads/elasticsearch
2.2.3、单机版安装
#创建elsearch用户，Elasticsearch不支持root用户运行
useradd elsearch
mkdir -p /itcast/es
chown elsearch:elsearch /itcast/ -R
#解压安装包
su - elsearch
tar -xvf elasticsearch-6.5.4.tar.gz -C /itcast/es/
#修改配置文件
cd /itcast/es/elasticsearch-6.5.4
vim config/elasticsearch.yml
network.host: 0.0.0.0
#设置ip地址，任意网络均可访问
#说明：在Elasticsearch中如果，network.host不是localhost或者127.0.0.1的话，
#就会认为是生产环境， 会对环境的要求比较高，我们的测试环境不一定能够满足，一般情况下需要修改2处配置
如下：
1：修改jvm启动参数
vim config/jvm.options
-Xms128m #根据自己机器情况修改
-Xmx128m
2：一个进程在VMAs(虚拟内存区域)创建内存映射最大数量
vim /etc/sysctl.conf
vm.max_map_count=655360
sysctl -p #配置生效
#启动ES服务
su - elsearch
cd bin
./elasticsearch 或 ./elasticsearch -d #后台启动
[2020-10-18T09:33:12,433][INFO ][o.e.c.m.MetaDataIndexTemplateService] [ewK7vx-] adding template [.monitoring-alerts] for index patterns [.monitoring-alerts-6]
[2020-10-18T09:33:12,459][INFO ][o.e.c.m.MetaDataIndexTemplateService] [ewK7vx-] adding template [.monitoring-kibana] for index patterns [.monitoring-kibana-6-*]
[2020-10-18T09:33:12,576][INFO ][o.e.l.LicenseService ] [ewK7vx-] license [a3dce76d-a983-450a-93ee-29e98cae67cd] mode [basic] - valid
浏览器访问得到如下信息，代表成功了
IP地址:9200
{
"name" : "ewK7vx-",
"cluster_name" : "elasticsearch",
"cluster_uuid" : "jZepGMPTQXGCeqQiBeKwVQ",
"version" : {
"number" : "6.5.4",
"build_flavor" : "default",
"build_type" : "tar",
"build_hash" : "d2ef93d",
"build_date" : "2018-12-17T21:17:40.758843Z",
"build_snapshot" : false,
"lucene_version" : "7.5.0",
"minimum_wire_compatibility_version" : "5.6.0",
"minimum_index_compatibility_version" : "5.0.0"
},
"tagline" : "You Know, for Search"
}
操作过程遇到could not find java; set JAVA_HOME or ensure java is in PATH
linux安装java环境
一、配置JDK
wget https://repo.huaweicloud.com/java/jdk/8u201-b09/jdk-8u201-linux-x64.tar.gz //解压
tar -zxvf jdk-8u201-linux-x64.tar.gz //移动文件夹
mv jdk1.8.0_201 /usr/local/jdk1.8/
1.配置环境变量
vim /etc/profile
按下insert键，然后移动到最后一行，添加如下语句
export JAVA_HOME=/usr/local/jdk1.8/
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
2.追加完成后更新配置
source /etc/profile
3.查看是否安装成功
java -version
4.创建软链接，环境变量
ln -s /usr/local/jdk1.8/bin/java /usr/bin/java
操作过程遇到ERROR: [1] bootstrap checks failed
[1]: max file descriptors [65535] for elasticsearch process is too low, increase to at least [65536]
记住操作系统配置后，要重新登录或者重启
方案一：
vim /etc/security/limits.conf 在文件末尾修改
* soft nofile 65536
* hard nofile 65536
其中*表示所有用户 nofile表示最大文件句柄数,表示能够打开的最大文件数目
方案二：
ulimit -Hn
ulimit -Hn 65536
ulimit -Hn
停止Elasticsearch
jps 查看Elasticsearch进程
kill xxx
2.2.4、elasticsearch-head
由于ES官方并没有为ES提供界面管理工具，仅仅是提供了后台的服务。elasticsearch-head是一个为ES开发的一个页
面客户端工具，其源码托管于GitHub，地址为：https://github.com/mobz/elasticsearch-head
head提供了4种安装方式：
源码安装，通过npm run start启动（不推荐）
通过docker安装（推荐）
通过chrome插件安装（推荐）
通过ES的plugin方式安装（不推荐）
通过docker安装
#拉取镜像
docker pull mobz/elasticsearch-head:5
#创建容器
docker create --name elasticsearch-head -p 9100:9100 mobz/elasticsearch-head:5
#启动容器
docker start elasticsearch-head
通过chrome插件的方式安装
打开chrome的应用商店，即可安装https://chrome.google.com/webstore/detail/elasticsearch-head/ffmkiejjmec
olpfloofpjologoblkegm
通过浏览器访问 IP:9100
注意：
由于前后端分离开发，所以会存在跨域问题，需要在服务端做CORS的配置，如下：(忽略)
vim elasticsearch.yml
http.cors.enabled: true http.cors.allow-origin: "*"
2.3、基本概念
索引
- 索引（index）是Elasticsearch对逻辑数据的逻辑存储，所以它可以分为更小的部分。
- 可以把索引看成关系型数据库的表，索引的结构是为快速有效的全文索引准备的，特别是它不存储原始值。
- Elasticsearch可以把索引存放在一台机器或者分散在多台服务器上，每个索引有一或多个分片（shard），每个分片可以有多个副本（replica）。
文档
- 存储在Elasticsearch中的主要实体叫文档（document）。用关系型数据库来类比的话，一个文档相当于数据库表中的一行记录。
- Elasticsearch和MongoDB中的文档类似，都可以有不同的结构，但Elasticsearch的文档中，相同字段必须有相同类型。
- 文档由多个字段组成，每个字段可能多次出现在一个文档里，这样的字段叫多值字段（multivalued）。
- 每个字段的类型，可以是文本、数值、日期等。字段类型也可以是复杂类型，一个字段包含其他子文档或者数组。
映射
- 所有文档写进索引之前都会先进行分析，如何将输入的文本分割为词条、哪些词条又会被过滤，这种行为叫做映射（mapping）。一般由用户自己定义规则。
文档类型
- 在Elasticsearch中，一个索引对象可以存储很多不同用途的对象。例如，一个博客应用程序可以保存文章和评论。
- 每个文档可以有不同的结构。
- 不同的文档类型不能为相同的属性设置不同的类型（即要相同）。例如，在同一索引中的所有文档类型中，一个叫title的字段必须具有相同的类型。
2.4、RESTful API
在Elasticsearch中，提供了功能丰富的RESTful API的操作，包括基本的CRUD、创建索引、删除索引等操作。
2.4.1、创建非结构化索引
在Lucene中，创建索引是需要定义字段名称以及字段的类型的，在Elasticsearch中提供了非结构化的索引，就是不需要创建索引结构，即可写入数据到索引中，实际上在Elasticsearch底层会进行结构化操作，此操作对用户是透明的。
说明：非结构化的索引，不需要事先创建，直接插入数据默认创建索引
创建空索引：
PUT请求
PUT /haoke
{
"settings": {
"index": {
"number_of_shards": "5",
"number_of_replicas": "1"
}
}
}
#删除索引
DELETE /haoke
{
"acknowledged":true
}
打开Restful测试工具，输入url，输入put请求参数
浏览器:9200/索引库名称
http://120.76.63.10:9200/haoke
操作过程中遇到的错误（原来我是json格式弄错了，PUT /haoke都放进去了，第一次接触。诶，搞了一小时）
not_x_content_exception
Compressor detection can only be called on some xcontent bytes or compressed
{
"error":{
"root_cause":[{
"type":"mapper_parsing_exception","reason":"failed to parse"}],"type":"mapper_parsing_exception","reason":"failed to parse","caused_by":{
"type":"not_x_content_exception","reason":"Compressor detection can only be called on some xcontent bytes or compressed xcontent bytes"}},"status":400}
org.elasticsearch.common.compress.NotXContentException: Compressor detection can only be called on some xcontent bytes or compressed xcontent bytes
在线JSON校验格式工具
https://www.bejson.com/
2.4.2、插入数据
URL规则：
POST /{索引}/{类型}/{id}
id是文档标识符
POST /haoke/user/1001
#数据
{
"id":1001,
"name":"张三",
"age":20,
"sex":"男"
}
#回应
{
"_index": "haoke",
"_type": "user",
"_id": "1001",
"_version": 1,
"result": "created",
"_shards": {
"total": 2,
"successful": 1,
"failed": 0
},
"_seq_no": 0,
"_primary_term": 1
}
不指定id插入数据（自动生成id）：
POST /haoke/user
#数据
{
"id": 1002,
"name": "李四",
"age": 21,
"sex": "女"
}
2.4.3、更新数据
在Elasticsearch中，文档数据是不为修改的，但是可以通过覆盖的方式进行更新。
PUT /haoke/user/1001
{
"id":1001,
"name":"张三",
"age":21,
"sex":"女"
}
局部更新
前面不是说，文档数据不能更新吗？ 其实是这样的：
在内部，依然会查询到这个文档数据，然后进行覆盖操作，步骤如下：
- 从旧文档中检索JSON
- 修改它
- 删除旧文档
- 索引新文档
doc
POST /haoke/user/1001/_update
{
"doc": {
"age": 23
}
}
2.4.4、删除数据
在Elasticsearch中，删除文档数据，只需要发起DELETE请求即可
DELETE /haoke/user/1001
返回的信息中需要注意的是，result表示已经删除，version也更加了。
如果删除一条不存在的数据，会响应404：
说明：
删除一个文档也不会立即从磁盘上移除，它只是被标记成已删除。Elasticsearch将会在你之后添加更多索引的
时候才会在后台进行删除内容的清理。
2.4.5、搜索数据
根据id搜索数据
GET /haoke/user/plk7OnUBJFa3OVT9hqdH
http://10.0.100.132:9200/haoke/user/plk7OnUBJFa3OVT9hqdH
#返回的数据如下
{
"_index": "haoke",
"_type": "user",
"_id": "plk7OnUBJFa3OVT9hqdH",
"_version": 1,
"found": true,
"_source": {
"id": 1002,
"name": "李四",
"age": 21,
"sex": "女"
}
}
搜索全部数据
GET /haoke/user/_search
关键字搜素数据
#查询年龄等于21的用户 ?q=参数
GET /haoke/user/_search?q=age:21
结果
2.4.6、DSL搜索
Elasticsearch提供丰富且灵活的查询语言叫做DSL查询(Query DSL),它允许你构建更加复杂、强大的查询。
DSL(Domain Specific Language特定领域语言)以JSON请求体的形式出现。
POST /haoke/user/_search
#请求体
{
"query": {
"match": {
# match只是查询的一种
"age": 21
}
}
}
实现：查询年龄大于30岁的男性用户。
插入数据
POST /haoke/user
#数据
{
"id":1001,
"name":"张三",
"age":20,
"sex":"男"
}
查询数据
POST /haoke/user/_search
#请求数据
{
"query": {
"bool": {
"filter": {
# 过滤
"range": {
"age": {
"gt": 30
}
}
},
"must": {
# 必须
"match": {
"sex": "男"
}
}
}
}
}
全局搜索
POST /haoke/user/_search
#请求数据
{
"query": {
"match": {
"name": "张三 李四"
}
}
}
2.4.7、高亮显示
POST /haoke/user/_search
{
"query": {
"match": {
"name": "张三 李四"
}
},
"highlight": {
"fields": {
"name": {
}
}
}
}
2.4.8、聚合
在Elasticsearch中，支持聚合操作，类似SQL中的group by操作。
POST /haoke/user/_search
{
"aggs": {
"all_interests": {
"terms": {
"field": "age"
}
}
}
}
从结果可以看出，年龄30的有2条数据，20的有一条，40的一条。
3、核心详解
3.1、文档
在Elasticsearch中，文档以JSON格式进行存储，可以是复杂的结构，如：
{
"_index": "haoke",
"_type": "user",
"_id": "1005",
"_version": 1,
"_score": 1,
"_source": {
"id": 1005,
"name": "孙七",
"age": 37,
"sex": "女",
"card": {
"card_number": "123456789"
}
}
}
其中，card是一个复杂对象，嵌套的Card对象。
元数据（metadata）
一个文档不只有数据。它还包含了元数据(metadata)——关于文档的信息。三个必须的元数据节点是：
4、中文词
5、全文搜索
6、Elasticsearch集群
7、java客户端
文档地址（自个儿看）
链接：https://pan.baidu.com/s/12yqB5O_7hgzUzq8TaGLp6w
提取码：vno5
复制这段内容后打开百度网盘手机App，操作更方便哦
4、集群搭建
P28-P34
ELasticsearch的集群是由多个节点组成的，通过cluster.name设置集群名称，并且用于区分其它的集群，每个节点通过node.name指定节点的名称。
4.1、集群节点
在Elasticsearch中，节点的类型主要有4种：
- master节点
配置文件中node.master属性为true(默认为true)，就有资格被选为master节点。
master节点用于控制整个集群的操作。比如创建或删除索引，管理其它非master节点等。 - data节点
配置文件中node.data属性为true(默认为true)，就有资格被设置成data节点。
data节点主要用于执行数据相关的操作。比如文档的CRUD。 - 客户端节点
配置文件中node.master属性和node.data属性均为false。
该节点不能作为master节点，也不能作为data节点。
可以作为客户端节点，用于响应用户的请求，把请求转发到其他节点（相当于代理） - 部落节点
当一个节点配置tribe.*的时候，它是一个特殊的客户端，它可以连接多个集群，在所有连接的集群上执行搜索和其他操作。
4.2、搭建集群
#启动3个虚拟机，分别在3台虚拟机上部署安装Elasticsearch
过程看上面 itcast所属组是 elsearch
# 搭建集群
[elsearch@localhost es]$ mkdir /itcast/es-cluster
[elsearch@localhost es]$ cp /itcast/es/elasticsearch-6.5.4/ /itcast/es-cluster/ -R
[elsearch@localhost es]$ cd /itcast/es-cluster/elasticsearch-6.5.4/data
[elsearch@localhost data]$ rm -rf * 删除数据
[elsearch@localhost es]$ cd /itcast/es-cluster/elasticsearch-6.5.4/logs
[elsearch@localhost logs]$ rm -rf * 删除日志
#分发到其它机器
[elsearch@localhost es]$ cd /itcast/
[elsearch@localhost es]$ scp -r es-cluster [email protected]:/itcast
# 集群配置
cd /itcast/es-cluster/elasticsearch-6.5.4/
vim elasticsearch.yml
#node01的配置：
cluster.name: es-itcast-cluster
node.name: node01
node.master: true
node.data: true
network.host: 0.0.0.0
http.port: 9200
discovery.zen.ping.unicast.hosts: ["192.168.40.133","192.168.40.134","192.168.40.135"] #发现集群的广播地址 discovery.zen.minimum_master_nodes: 2 # 表示至少有两个同意A主节点才能成为主节点
http.cors.enabled: true # 跨域
http.cors.allow-origin: "*"
#node02的配置：
cluster.name: es-itcast-cluster
node.name: node02
node.master: true
node.data: true
network.host: 0.0.0.0
http.port: 9200
discovery.zen.ping.unicast.hosts: ["192.168.40.133","192.168.40.134","192.168.40.135"]
discovery.zen.minimum_master_nodes: 2
http.cors.enabled: true
http.cors.allow-origin: "*"
#node03的配置：
cluster.name: es-itcast-cluster
node.name: node03
node.master: true
node.data: true
network.host: 0.0.0.0
http.port: 9200
discovery.zen.ping.unicast.hosts: ["192.168.40.133","192.168.40.134","192.168.40.135"] discovery.zen.minimum_master_nodes: 2
http.cors.enabled: true
http.cors.allow-origin: "*"
#分别启动3个节点
./elasticsearch
创建索引，粗线是主分片，细线是副本分片
查询集群状态：GET请求： http://IP地址:9200/_cluster/health
4.3、分片和副本
为了将数据添加到Elasticsearch，我们需要 索引(index) ——一个存储关联数据的地方。实际上，索引只是一个用来
指向一个或多个分片(shards)的“逻辑命名空间(logical namespace)”.
- 一个分片(shard)是一个最小级别“工作单元(worker unit)”,它只是保存了索引中所有数据的一部分。
- 我们需要知道是分片就是一个Lucene实例，并且它本身就是一个完整的搜索引擎。应用程序不会和它直接通
信。 - 分片可以是主分片(primary shard)或者是复制分片(replica shard)。
- 索引中的每个文档属于一个单独的主分片，所以主分片的数量决定了索引最多能存储多少数据。
- 复制分片只是主分片的一个副本，它可以防止硬件故障导致的数据丢失，同时可以提供读请求，比如搜索或者
从别的shard取回文档。 - 当索引创建完成的时候，主分片的数量就固定了，但是复制分片的数量可以随时调整。
4.4、故障转移
4.4.1、将data节点停止
将node02恢复：./node02/bin/elasticsearch
可以看到，node02恢复后，重新加入了集群，并且重新分配了节点信息。
4.4.2、将master节点停止
恢复node01节点：重启之后，发现node01可以正常加入到集群中，集群状态依然为绿色
4.4.3 特别说明
4.5、分布式文档
4.5.1、路由
4.5.2、文档的写操作
新建、索引和删除请求都是写(write)操作，它们必须在主分片上成功完成才能复制到相关的复制分片上。
下面我们罗列在主分片和复制分片上成功新建、索引或删除一个文档必要的顺序步骤：
- 客户端给 Node 1 发送新建、索引或删除请求。
- 节点使用文档的 _id 确定文档属于分片 0 。它转发请求到 Node 3 ，分片 0 位于这个节点上。
- Node 3 在主分片上执行请求，如果成功，它转发请求到相应的位于 Node 1 和 Node 2 的复制节点上。当所有的复制节点报告成功， Node 3 报告成功到请求的节点，请求的节点再报告给客户端。客户端接收到成功响应的时候，文档的修改已经被应用于主分片和所有的复制分片。你的修改生效了。
4.5.3、搜索文档（单个文档）
文档能够从主分片或任意一个复制分片被检索。
4.5.4、全文搜索
对于全文搜索而言，文档可能分散在各个节点上，那么在分布式的情况下，如何搜索文档呢？
搜索，分为2个阶段，搜索（query）+取回（fetch）。
搜索
取回
————分割————
1、Nginx日志分析系统
1.1、项目需求
Nginx是一款非常优秀的web服务器，往往nginx服务会作为项目的访问入口，那么，nginx的性能保障就变得非常重要了，如果nginx的运行出现了问题就会对项目有较大的影响，所以，我们需要对nginx的运行有监控措施，实时掌握nginx的运行情况，那就 需要收集nginx的运行指标和分析nginx的运行日志 了。
1.2、业务流程
说明：
- 通过Beats采集Nginx的指标数据和日志数据
- Beats采集到数据后发送到Elasticsearch中
- Kibana读取数据进行分析
- 用户通过Kibana进行查看分析报表
nginx安装
https://www.cnblogs.com/kaerxifa/p/11533595.html
Beats
https://www.elastic.co/cn/products/beats
2、Filebeat（文本日志）
2.1、架构
用于监控、收集服务器日志文件.
2.2、部署与运行
下载（或使用资料中提供的安装包，版本为：filebeat-6.5.4）：https://www.elastic.co/downloads/beats
https://www.elastic.co/cn/downloads/past-releases/filebeat-6-5-4
mkdir /itcast/beats
tar -xvf filebeat-6.5.4-linux-x86_64.tar.gz
cd filebeat-6.5.4-linux-x86_64
#创建如下配置文件 itcast.yml
# input输入，标准输入stdin
# index.number_of_shards 是指索引要做多少个分片，只能在创建索引时指定，后期无法修改。
# output输出，输出到控制台。 美化+启用
filebeat.inputs:
- type: stdin
enabled: true
setup.template.settings:
index.number_of_shards: 3
output.console:
pretty: true
enable: true
#启动filebeat
./filebeat -e -c itcast.yml
#输入hello运行结果如下：
hello
2.3、读取文件
#配置读取文件项 itcast-log.yml
filebeat.inputs:
- type: log
enabled: true
paths:
- /itcast/beats/logs/*.log
setup.template.settings:
index.number_of_shards: 3
output.console:
pretty: true
enable: true
#启动filebeat
[root@localhost filebeat-6.5.4-linux-x86_64]# pwd
/itcast/beats/filebeat-6.5.4-linux-x86_64
[root@localhost filebeat-6.5.4-linux-x86_64]# ./filebeat -e -c itcast-log.yml
#/haoke/beats/logs下创建touch a.log文件，并输入如下内容
# vim a.log
# echo hello world > a.log
#观察filebeat输出
{
}
可以看出，已经检测到日志文件有更新，立刻就会读取到更新的内容，并且输出到控制台。
2.4、自定义字段
#配置读取文件项 itcast-log.yml
filebeat.inputs:
- type: log
enabled: true
paths:
- /itcast/beats/logs/*.log
tags: ["web"] #添加自定义tag，便于后续的处理
fields: #添加自定义字段
from: itcast-im
fields_under_root: true #true为添加到根节点，false为添加到子节点中
setup.template.settings:
index.number_of_shards: 3
output.console:
pretty: true
enable: true
#启动filebeat
./filebeat -e -c itcast-log.yml
#/itcast/beats/logs下创建a.log文件，并输入如下内容
123
#执行效果
2.5、输出到Elasticsearch
# itcast-log.yml
filebeat.inputs:
- type: log
enabled: true
paths:
- /itcast/beats/logs/*.log
tags: ["haoke-im"]
fields:
from: haoke-im
fields_under_root: false
setup.template.settings:
index.number_of_shards: 3 #指定索引的分区数
output.elasticsearch: #指定ES的配置
hosts: ["10.0.100.132:9200"]
#启动filebeat
./filebeat -e -c itcast-log.yml
#输入测试
echo 789 >> /itcast/beats/logs/a.log
2.6、Filebeat工作原理
Filebeat由两个主要组件组成：prospector 和 harvester。
- harvester
负责读取单个文件的内容。
如果文件在读取时被删除或重命名，Filebeat将继续读取文件。 - prospector
prospector 负责管理harvester并找到所有要读取的文件来源。
如果输入类型为日志，则查找器将查找路径匹配的所有文件，并为每个文件启动一个harvester。
Filebeat目前支持两种prospector类型：log和stdin。 - Filebeat如何保持文件的状态
Filebeat 保存每个文件的状态并经常将状态刷新到磁盘上的注册文件中。
该状态用于记住harvester正在读取的最后偏移量，并确保发送所有日志行。
如果输出（例如Elasticsearch或Logstash）无法访问，Filebeat会跟踪最后发送的行，并在输出再次可用时继续读取文件。
在Filebeat运行时，每个prospector内存中也会保存的文件状态信息，当重新启动Filebeat时，将使用注册文件的数据来重建文件状态，Filebeat将每个harvester在从保存的最后偏移量继续读取。
文件状态记录在data/registry文件中。
启动命令：
./filebeat -e -c itcast.yml
./filebeat -e -c itcast.yml -d "publish"
#参数说明
-e: 输出到标准输出，默认输出到syslog和logs下
-c: 指定配置文件
-d: 输出debug信息
#测试： ./filebeat -e -c itcast-log.yml -d "publish"
2020-10-18T19:08:23.166+0800 DEBUG [publish] pipeline/processor.go:308 Publish event: {
"@timestamp": "2020-10-18T11:08:23.164Z",
"@metadata": {
"beat": "filebeat",
"type": "doc",
"version": "6.5.4"
},
"source": "/itcast/beats/logs/a.log",
"message": "456",
"beat": {
"version": "6.5.4",
"name": "localhost.localdomain",
"hostname": "localhost.localdomain"
},
"offset": 68,
"tags": [
"haoke-im"
],
"prospector": {
"type": "log"
},
"input": {
"type": "log"
},
"fields": {
"from": "haoke-im"
},
"host": {
"name": "localhost.localdomain"
}
}
2.7、读取Nginx日志文件
# itcast-nginx.yml
filebeat.inputs:
- type: log
enabled: true
paths:
- /var/log/nginx/*.log
tags: ["nginx"]
setup.template.settings:
index.number_of_shards: 3 #指定索引的分区数
output.elasticsearch: #指定ES的配置
hosts: ["10.0.100.132:9200"]
#启动
./filebeat -e -c itcast-nginx.yml
浏览器访问一次，增加一条
可以看到，在message中已经获取到了nginx的日志，但是，内容并没有经过处理，只是读取到原数据，那么对于我们后期的操作是不利的，有办法解决吗？
2.8 Module
前面要想实现日志数据的读取以及处理都是自己手动配置的，其实，在Filebeat中，有大量的Module，可以简化我们的配置，直接就可以使用，如下：
./filebeat modules list
Enabled:
Disabled:
apache2
auditd
elasticsearch
haproxy
icinga
iis
kafka
kibana
logstash
mongodb
mysql
nginx
osquery
postgresql
redis
suricata
system
traefik
可以看到，内置了很多的module，但是都没有启用，如果需要启用需要进行enable操作：
./filebeat modules enable nginx #启动
./filebeat modules disable nginx #禁用
./filebeat modules list
Enabled:
nginx
可以发现，nginx的module已经被启用。
2.8.1、nginx module配置
[root@localhost filebeat-6.5.4-linux-x86_64]# cd modules.d/
[root@localhost modules.d]# pwd
/itcast/beats/filebeat-6.5.4-linux-x86_64/modules.d
[root@localhost modules.d]# vim nginx.yml
- module: nginx
# Access logs
access:
enabled: true
var.paths: ["/var/log/nginx/access.log*"]
# Set custom paths for the log files. If left empty,
# Filebeat will choose the paths depending on your OS.
#var.paths:
# Error logs
error:
enabled: true
var.paths: ["/var/log/nginx/error.log*"]
# Set custom paths for the log files. If left empty,
# Filebeat will choose the paths depending on your OS.
#var.paths:
2.8.2、配置filebeat
安装依赖（否则启动出错）
[elsearch@localhost bin]$ pwd
/itcast/es/elasticsearch-6.5.4/bin
[elsearch@localhost bin]$ ./elasticsearch-plugin install ingest-user-agent
[elsearch@localhost bin]$ /elasticsearch-plugin install ingest-geoip
# vim itcast-nginx.yml
filebeat.inputs:
#- type: log
# enabled: true
# paths:
# - /var/log/nginx/*.log
# tags: ["nginx"]
setup.template.settings:
index.number_of_shards: 3 #指定索引的分区数
output.elasticsearch: #指定ES的配置
hosts: ["10.0.100.132:9200"]
filebeat.config.modules:
path: ${path.config}/modules.d/*.yml
reload.enabled: false
#启动
./filebeat -e -c itcast-nginx.yml
测试：访问nginx页面，查看elasticsearch，可以看到数据整理后的效果
（access：响应的状态码、remote_ip、请求method）
而不是直接一块message。
当然了，其他的Module的用法参加官方文档：
https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-modules.html
3、Metricbeat（内存，IO）
- 定期收集操作系统或应用服务的指标数据
- 存储到Elasticsearch中，进行实时分析
3.1、Metricbeat组成
Metricbeat有2部分组成，一部分是Module，另一部分为Metricset。
Module：收集的对象，如：mysql、redis、nginx、操作系统等；
Metricset：收集指标的集合，如：cpu、memory、network等；
.
3.2、部署与收集系统指标
下载地址：https://www.elastic.co/cn/downloads/past-releases/metricbeat-6-5-4
tar -xvf metricbeat-6.5.4-linux-x86_64.tar.gz
cd metricbeat-6.5.4-linux-x86_64
vim metricbeat.yml
修改如下：
output.elasticsearch:
# Array of hosts to connect to.
hosts: ["10.0.100.132:9200"]
#启动，默认配置文件就是metricbeat.yml
./metricbeat -e
在ELasticsearch中可以看到，系统的一些指标数据已经写入进去了：
system module配置：
[root@localhost modules.d]# pwd
/itcast/beats/metricbeat-6.5.4-linux-x86_64/modules.d
[root@localhost modules.d]# cat system.yml
# Module: system
# Docs: https://www.elastic.co/guide/en/beats/metricbeat/6.5/metricbeat-module-system.html
- module: system
period: 10s
metricsets:
- cpu
- load
- memory
- network
- process
- process_summary
#- core
#- diskio
#- socket
process.include_top_n:
by_cpu: 5 # include top 5 processes by CPU
by_memory: 5 # include top 5 processes by memory
- module: system
period: 1m
metricsets:
- filesystem
- fsstat
processors:
- drop_event.when.regexp:
system.filesystem.mount_point: '^/(sys|cgroup|proc|dev|etc|host|lib)($|/)'
- module: system
period: 15m
metricsets:
- uptime
#- module: system
# period: 5m
# metricsets:
# - raid
# raid.mount_point: '/'
3.3、Module
./metricbeat modules list #查看列表
Enabled:
system #默认启用
3.4、Nginx Module
3.4.1、开启nginx的状态查询
在nginx中，需要开启状态查询，才能查询到指标数据。
#重新编译nginx
./configure --prefix=/usr/local/nginx --with-http_stub_status_module
make
make install
#配置nginx
vim nginx.conf
location /nginx-status {
stub_status on;
access_log off;
}
测试：
结果说明：
- Active connections：正在处理的活动连接数
- server accepts handled requests
第一个 server 表示Nginx启动到现在共处理了9个连接
第二个 accepts 表示Nginx启动到现在共成功创建 9 次握手
第三个 handled requests 表示总共处理了 21 次请求
请求丢失数 = 握手数 - 连接数 = 0，可以看出目前为止没有丢失请求 - Reading: 0 Writing: 1 Waiting: 1
Reading：Nginx 读取到客户端的 Header 信息数
Writing：Nginx 返回给客户端 Header 信息数
Waiting：Nginx 已经处理完正在等候下一次请求指令的驻留链接（开启keep-alive的情况下，这个值等于
Active - (Reading+Writing)）
3.4.2、配置Nginx Module
#启用nginx module
./metricbeat modules enable nginx
#修改redis module配置
vim modules.d/nginx.yml
# Module: nginx
# Docs: https://www.elastic.co/guide/en/beats/metricbeat/6.5/metricbeat-module-nginx.html
- module: nginx
#metricsets:
# - stubstatus
period: 10s
# Nginx hosts
hosts: ["http://10.0.100.132"]
# Path to server status. Default server-status
server_status_path: "server-status"
#username: "user"
#password: "secret"
#启动
./metricbeat -e
测试：
可以看到，nginx的指标数据已经写入到了Elasticsearch。
更多的Module使用参见官方文档：
https://www.elastic.co/guide/en/beats/metricbeat/current/metricbeat-modules.html
4、Kibana
Kibana 是一款开源的数据分析和可视化平台，它是 Elastic Stack 成员之一，设计用于和 Elasticsearch 协作。您可以使用 Kibana 对 Elasticsearch 索引中的数据进行搜索、查看、交互操作。您可以很方便的利用图表、表格及地图对数据进行多元化的分析和呈现。
官网：https://www.elastic.co/cn/products/kibana
4.1、配置安装
下载地址：https://www.elastic.co/cn/downloads/past-releases/kibana-6-5-4
#解压安装包
tar -xvf kibana-6.5.4-linux-x86_64.tar.gz
#修改配置文件
cd kibana-6.5.4-linux-x86_64
vim config/kibana.yml
server.host: "10.0.100.132" #对外暴露服务的地址
elasticsearch.url: "http://10.0.100.132:9200" #配置Elasticsearch
#启动
./bin/kibana
#通过浏览器进行访问
http://10.0.100.132:5601/app/kibana
可以看到kibana页面，并且可以看到提示，导入数据到Kibana。
4.2、功能说明
4.3、数据探索
首先先添加索引信息：
即可查看索引数据：
4.4、Metricbeat 仪表盘
可以将Metricbeat的数据在Kibana中展示。
#修改metricbeat配置
setup.kibana:
host: "10.0.100.132:5601"
#安装仪表盘到Kibana
./metricbeat setup --dashboards
即可在Kibana中看到仪表盘数据：
查看系统信息：
4.5、Nginx 指标仪表盘
4.6、Nginx 日志仪表盘
#修改配置文件
[root@localhost beats]# cd filebeat-6.5.4-linux-x86_64/
[root@localhost filebeat-6.5.4-linux-x86_64]# vim itcast-nginx.yml
filebeat.inputs:
setup.template.settings:
index.number_of_shards: 3 #指定索引的分区数
output.elasticsearch: #指定ES的配置
hosts: ["10.0.100.132:9200"]
filebeat.config.modules:
path: ${path.config}/modules.d/*.yml
reload.enabled: false
setup.kibana:
host: "10.0.100.132:5601"
#安装仪表盘到kibana
./filebeat -c itcast-nginx.yml setup
#启动filebeat
./filebeat -e -c itcast-nginx.yml
可以看到nginx的FileBeat的仪表盘了：
通过filebeat采集nginx日志，发送到Elasearch中，通过kibana展示
4.7、自定义图表
在Kibana中，也可以进行自定义图表，如制作柱形图：
将图表添加到自定义Dashboard中：
4.8、开发者工具
在Kibana中，为开发者的测试提供了便捷的工具使用，如下：
查询
5、Logstash
5.1、简介
5.2 部署安装
logstash：https://www.elastic.co/cn/downloads/past-releases/logstash-6-5-4
#检查jdk环境，要求jdk1.8+
java -version
#解压安装包
mkdir -p /itcast/logstash/logs
cd /itcast/logstash/
tar -xvf logstash-6.5.4.tar.gz
#第一个logstash示例
cd /itcast/logstash/logstash-6.5.4
bin/logstash -e 'input { stdin { } } output { stdout {} }'
执行效果如下：
5.3、配置详解
Logstash的配置有三部分，如下：
input {
#输入
stdin {
... } #标准输入
}
filter {
#过滤，对数据进行分割、截取等处理
...
}
output {
#输出
stdout {
... } #标准输出
}
5.3.1、输入
- 采集各种样式、大小和来源的数据，数据往往以各种各样的形式，或分散或集中地存在于很多系统中。
- Logstash 支持各种输入选择 ，可以在同一时间从众多常用来源捕捉事件。能够以连续的流式传输方式，轻松地从您的日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。
5.3.2、过滤
- 实时解析和转换数据
- 数据从源传输到存储库的过程中，Logstash 过滤器能够解析各个事件，识别已命名的字段以构建结构，并将它
们转换成通用格式，以便更轻松、更快速地分析和实现商业价值。
5.3.3、输出
Logstash 提供众多输出选择，您可以将数据发送到您要指定的地方，并且能够灵活地解锁众多下游用例。
5.4、读取自定义日志
前面我们通过Filebeat读取了nginx的日志，如果是自定义结构的日志，就需要读取处理后才能使用，所以，这个时
候就需要使用Logstash了，因为Logstash有着强大的处理能力，可以应对各种各样的场景。
5.4.1、日志结构
可以看到，日志中的内容是使用“|”进行分割的，使用，我们在处理的时候，也需要对数据做分割处理。
2020-10-19 09:11:21|ERROR|读取数据出错|参数：id=1002
5.4.2、编写配置文件
# mkdir -p /itcast/logstash/logs
#写日志到文件
echo "2020-10-19 09:11:21|ERROR|读取数据出错|参数：id=1002" >> /itcast/logstash/logs/app.log
#vim itcast-pipeline.conf
input {
file {
path => "/itcast/logstash/logs/app.log"
start_position => "beginning"
}
}
filter {
mutate {
split => {
"message" => "|"
}
}
}
output {
stdout {
codec => rubydebug
}
}
5.4.3、启动测试
[root@localhost logstash-6.5.4]# pwd
/itcast/logstash/logstash-6.5.4
#启动
[root@localhost logstash-6.5.4]# ./bin/logstash -f ./itcast-pipeline.conf
echo "2020-10-19 09:11:21|ERROR|读取数据出错|参数：id=1002" >> /itcast/logstash/logs/app.log
输出结果：
可以看到，数据已经被分割了。
5.4.4、输出到Elasticsearch
修改output
#vim itcast-pipeline.conf
input {
file {
path => "/itcast/logstash/logs/app.log"#
type => "system"
start_position => "beginning"
}
}
filter {
mutate {
split => {
"message" => "|"
}
}
}
output {
elasticsearch {
hosts => ["10.0.100.132:9200"]
}
}
#启动
./bin/logstash -f ./itcast-pipeline.conf
#写入数据
echo "2020-10-19 09:11:21|ERROR|读取数据出错|参数：id=1003" >> /itcast/logstash/logs/app.log
echo "2020-10-20 09:11:21|ERROR|读取数据出错|参数：id=1004" >> /itcast/logstash/logs/app.log
6、综合练习
将前面所学习到的Elasticsearch + Logstash + Beats + Kibana整合起来做一个综合性的练习
itcast-dashboard-generate-1.0-SNAPSHOT.jar
6.1、流程说明
- 应用APP生产日志，用来记录用户的操作
[INFO] 2019-03-15 22:55:20 [cn.itcast.dashboard.Main] - DAU|5206|使用优惠券|2019-03-15
03:37:20
[INFO] 2019-03-15 22:55:21 [cn.itcast.dashboard.Main] - DAU|3880|浏览页面|2019-03-15 07:25:09 - 通过Filebeat读取日志文件中的内容，并且将内容发送给Logstash，原因是需要对内容做处理
- Logstash接收到内容后，进行处理，如分割操作，然后将内容发送到Elasticsearch中
- Kibana会读取Elasticsearch中的数据，并且在Kibana中进行设计Dashboard，最后进行展示
说明：日志格式、图表、Dashboard都是自定义的。
部署：
#打包成jar包，在linux上运行
java -jar itcast-dashboard-generate-1.0-SNAPSHOT.jar
#运行之后，就可以将日志写入到/itcast/logs/app.log文件中
APP代码：
package cn.itcast.dashboard;
import org.apache.commons.lang3.RandomUtils;
import org.joda.time.DateTime;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.boot.autoconfigure.SpringBootApplication;
@SpringBootApplication
public class Main {
private static final Logger LOGGER = LoggerFactory.getLogger(Main.class);
public static final String[] VISIT = new String[]{
"浏览页面", "评论商品", "加入收藏", "加入购物车", "提交订单", "使用优惠券", "领取优惠券", "搜索", "查看订单"};
public static void main(String[] args) throws Exception {
while(true){
Long sleep = RandomUtils.nextLong(200, 1000 * 5);
Thread.sleep(sleep);
Long maxUserId = 9999L;
Long userId = RandomUtils.nextLong(1, maxUserId);
String visit = VISIT[RandomUtils.nextInt(0, VISIT.length)];
DateTime now = new DateTime();
int maxHour = now.getHourOfDay();
int maxMillis = now.getMinuteOfHour();
int maxSeconds = now.getSecondOfMinute();
String date = now.plusHours(-(RandomUtils.nextInt(0, maxHour)))
.plusMinutes(-(RandomUtils.nextInt(0, maxMillis)))
.plusSeconds(-(RandomUtils.nextInt(0, maxSeconds)))
.toString("yyyy-MM-dd HH:mm:ss");
String result = "DAU|" + userId + "|" + visit + "|" + date;
LOGGER.info(result);
}
}
}
6.2、Filebeat
在Filebeat部署logstash服务
#vim itcast-dashboard.yml
filebeat.inputs:
- type: log
enabled: true
paths:
- /itcast/logs/*.log # 读取日志文件
setup.template.settings:
index.number_of_shards: 3
output.logstash:
hosts: ["master:5044"] # 指向logstash
#启动，先启动Logstash再启动filebeat
./filebeat -e -c itcast-dashboard.yml
6.4、Logstash
#vim itcast-dashboard.conf
input {
beats {
port => "5044" # 从5044端口输入
}
}
filter {
mutate {
split => {
"message"=>"|"} # 分割
}
mutate {
add_field => {
# 读取数据
"userId" => "%{message[1]}"
"visit" => "%{message[2]}"
"date" => "%{message[3]}"
}
}
mutate {
# 转化格式
convert => {
"userId" => "integer"
"visit" => "string"
"date" => "string"
}
}
}
#output {
# stdout { codec => rubydebug }
#}
output {
elasticsearch {
# 输出到elasticsearch
hosts => [ "master:9200","salve1:9200","salve2.135:9200","salve3.135:9200"]
}
}
#启动
./bin/logstash -f itcast-dashboard.conf
6.5、Kibana
启动Kibana：
#启动
./bin/kibana
#通过浏览器进行访问
http://master:5601/app/kibana
添加Logstash索引到Kibana中：
6.5.1、时间间隔的柱形图
说明：x轴是时间，以天为单位，y轴是count数
保存：（my-dashboard-时间间隔的柱形图）
6.5.2、各个操作的饼图分布
通过上面数据的字段名获取得到。然后通过标签可以把visit去掉，更好的展示
统计各个操作的数量，形成饼图。
保存：（my-dashboard-各个操作的饼图）
6.5.3、数据表格
在数据探索中进行保存，并且保存，将各个操作的数据以表格的形式展现出来。
保存：（my-dashboard-表格）
6.5.4、制作Dashboard
上面的jar包木有。 随便自己弄一下，掌握大概
