day20(ELK第一天）

1、elasticsearch回顾

1.什么叫搜索

2.为什么mysql不适合全文搜素

3.什么是全文搜索lucene

4.es的应用场景

5.es的特点

6.es的安装部署
- java环境
- 内存不能小于2G
- 磁盘空间给足
- 配置文件开启内存锁定
- jvm虚拟机最大最小内存都一样
- 绑定了内网I和本地IP

7.解决内存锁定
- 配置文件增加允许内存锁定参数
- 重启es

8.测试
- ps -ef|grep elasticsearch
- ss -lntup|grep 9200

9.开放防火墙端口
- 9200
- 9300 通讯端口

10.安装es-head插件
- 安装包npm
- chrome浏览器插件

11.概念
- index 库
- type  表
- doc   行数据
- fields  字段
- shards  分片 分库 分表

12.操作命令CRUD
- put
- get
- post
- delete

13.集群配置
cluster.name: linux58               #集群模式，必须打开，同一个集群要全部一样
node.name: node-1                   #节点名称，每个节点都不一样
path.data: /data/elasticsearch      #如果你更换了目录，要授权给es用户和组
path.logs: /var/log/elasticsearch   #如果是集群模式，日志名为{集群名.log}
bootstrap.memory_lock: true         #内存锁定，一定要打开，然后修改system配置
network.host: 10.0.0.51,127.0.0.1   #绑定内网IP，本地IP可以选择不做
http.port: 9200                     #默认9200，还有一个隐藏的通讯端口，9300
discovery.zen.ping.unicast.hosts: ["10.0.0.51", "10.0.0.52"]    #集群发现地址，只要包含自己和集群内任意一个节点就可以。
discovery.zen.minimum_master_nodes: 1   #选举相关参数，多数节点数量node/2 + 1
http.cors.enabled: true                 #为了让es-head可以访问es,同下
http.cors.allow-origin: "*"             #为了让es-head可以访问es,同上

14.介绍集群的相关重要信息
- 分片数和副本数
- 默认创建为5分片，1副本
- 分片一旦创建好就不能改变了
- 副本数可以随时动态调整
- 集群健康状态
-- red     #有数据不完整
--yellow      #数据都完整，但是有索引的副本或分片状态不正常
--green       #数据都完整，副本也符合条件
-监控节点数量

15.模拟故障现象
- 停掉服务器，观察集群状态
- 要注意，不能短时间内连续坏多台
- 要注意，不能短时间关闭重启多个回合
- 如果是0副本，数据所在的哪台机器，不能坏掉，不能数据丢失

16.Kibana管理es集群
- 打开监控功能
- DevTools可以方便执行命令

17.中文分词器
- 所有es节点都安装
- 所有es节点安装完成后要重启才能生效
- 先创建索引
- 在创建映射关系（类似于mysql建表语句）
- 然后指定使用中文分词器
- 搜素测试

ELK功能图

image.png

ELK架构图

image.png

1、ELK日志收集

E: Elasticsearch
F: Filebeat
L: Logstash
K: kibana

2、常规分析日志的操作

2.1、分析需求：

1.找出访问网站频次最高的IP排名前十
2.找出访问网站排名前十的URL
3.找出中午10点到2点之间www网站访问频次最高的IP
4. 对比昨天这个时间段和今天这个时间段访问频次有什么变化
5.对比上周这个时间和今天这个时间的区别
6.找出特定的页面被访问了多少次
7.找出有问题的IP地址，并告诉我这个IP地址都访问了什么页面，在对比前几天他来过吗？他从什么时间段开始访问的，什么时间段走了
8.找出来访问最慢的前十个页面并统计平均响应时间，对比昨天这也页面访问也这么慢吗？
9.找出搜索引擎今天各抓取了多少次？抓取了哪些页面？响应时间如何？
10.找出伪造成搜索引擎的IP地址
11.5分钟之内告诉我结果

2.2、需要收集哪些日志

系统层面： message   secure

代理层：nginx   haproxy    lvs

web层：nginx   tomcat   php  apache

数据库层：mysql   redis   mongo   elasticsearch
  

3、收集nginx日志

3.1、还原环境，方便查询日志

systemctl stop elasticsearch
systemctl stop kibana
rm -rf /var/lib/kibana/*
rm -rf /data/elasticsearch/*
systemctl start elasticsearch
systemctl start kibana

3.1、收集nginx日志

1.安装启动nginx
yum install ntpdate -y
ntpdate time1.aliyun.com
yum install nginx -y
systemctl start nginx


2.安装filebeat
1）上传压缩包
2）安装
 yum install filebeat-6.6.0-x86_64.rpm


3.修改配置文件
vim /etc/filebeat/filebeat.yml 

filebeat.inputs:
- type: log
  enabled: false
  paths:
    - /var/log/nginx/access.log
output.elasticsearch:
  hosts: ["10.0.0.51:9200"]

4.启动filebeat
systemctl start filebeat.service 
systemctl enable filebeat.service 

image.png

image.png

3.2、filebeat原理：

1.类似于tail -f
2.30秒检测一下日志有没有发生变化

3.3、停掉filebeat在启动中间数据如何处理

1. 直接从最后开始读取的话数据就会丢失
2. 从头开始读取数据就会重复收集
3. 从断开的地方开始读取

3.4、不完善的地方

不能单独统计展示访问网站的某项内容

3.5、nginx日志格式

我们期望的格式
$remote_addr：10.0.0.1 
$remote_user：-
[$time_local]：[10/Jul/2019:17:59:52 +0800]
$request：GET/db01.html HTTP/1.1"
$status ：404
$body_bytes_sent：3650
$http_referer：-
$http_user_agent：Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36
$http_x_forwarded_for：-


操作步骤：注意！所有nginx服务器都需要操作！
1.修改nginx配置文件
log_format  json  '{ "time_local": "$time_local", '
                       '"remote_addr": "$remote_addr", '
                       '"referer": "$http_referer", '
                       '"request": "$request", '
                       '"status": $status, '
                       '"bytes": $body_bytes_sent, '
                       '"agent": "$http_user_agent", '
                       '"x_forwarded": "$http_x_forwarded_for", '
                       '"up_addr": "$upstream_addr",'
                       '"up_host": "$upstream_http_host",'
                       '"upstream_time": "$upstream_response_time",'
                       '"request_time": "$request_time"'
' }';
access_log  /var/log/nginx/access.log  json;


2.重启nginx
nginx -t
systemctl reload nginx

3.重新访问nginx产生新数据
curl 10.0.0.51

4.修改后的日志格式
{
    "time_local": "10/Jul/2019:18:55:59 +0800",
    "remote_addr": "10.0.0.1",
    "referer": "-",
    "request": "GET /db01.html HTTP/1.1",
    "status": 404,
    "bytes": 3650,
    "agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36",
    "x_forwarded": "-",
    "up_addr": "-",
    "up_host": "-",
    "upstream_time": "-",
    "request_time": "0.000"
}

5.清空nginx日志
> /var/log/nginx/access.log

6.修改filebeat配置文件
filebeat.inputs:
- type: log
  enabled: true 
  paths:
    - /var/log/nginx/access.log
  json.keys_under_root: true
  json.overwrite_keys: true
output.elasticsearch:
  hosts: ["10.0.0.51:9200"]

7.es删除旧的索引
  

8.重启filebeat
systemctl restart filebeat

image.png