ElastAlert安装与使用

安装

官方文档：https://elastalert.readthedocs.io/en/latest/running_elastalert.html

我简单总结一下附带我遇到的坑：

环境

• Elasticsearch
• Python 2.7 坑：一定要2.7，2.6和3.*都有问题
• Ubuntu : python-pip python-dev libffi-dev libssl-dev
• centos： gcc libffi-devel python-devel openssl-devel python-setuptools

安装

可以setup.py脚本安装也可以使用pip 安装，但是必须从git上拉下来，因为好多配置文件是必须要有的。

#安装依赖包
yum install gcc libffi-devel python-devel openssl-devel python-setuptools
#安装
git clone https://github.com/Yelp/elastalert.git 
pip install -r requirements.txt  
pip install "setuptools>=11.3"
python setup.py install
#或者 pip install elastalert
Elasticsearch 5.0+:
pip install "elasticsearch>=5.0.0"
Elasticsearch 2.X:
pip install "elasticsearch<3.0.0"

配置

cd elastalert  
cp config.yaml.example config.yaml #基本信息
vim config.yaml

基本配置 config.yaml

#将从该文件夹下读取*.yaml配置文件
rules_folder: your_rule_folder
#查询es中 elastalert_status 索引的频率，也可以是minutes，days 等等
run_every:
  hours: 1
# 每两分钟查询一次es 匹配 rules 的数据，存放到elastalert_status中
buffer_time:
  minutes: 2
#host
es_host: 127.0.0.1
#port
es_port: 9200
# Option basic-auth username and password for Elasticsearch
es_username: username
es_password: pwd

规则配置 your_rule.yaml

例子：

es_host: 127.0.0.1 
es_port: 9200
es_username: xxx
es_password: xxx

# (Required)
# Rule name, must be unique
# 给rule一个唯一的名字
name: prod

# (Required)
# Type of alert.下面各种type详细介绍
type: any
#注意了！！！！
#这是最大的坑，而且官方文档也没有比较明确的说明，elastalert只会把一条hit的记录发送给你，如果你想获取多条需要使用聚合功能，
aggregation:
#  "* * * * *" means: run as the "run_every" in config.yaml
 schedule: "* * * * *"
aggregate_by_match_time: true

# (Required)
# sd asd Index to search, wildcard supported
index: '*-prod-*'


# (Required)
#这里使用的是ES 的DSL语句做过滤条件
filter:
#逻辑组合
- bool:
    #必须存在
    must:
      - match:
          level: "ERROR"
    #必须不存在，即过滤掉的
    must_not:
      - match:
          stackTrace: "org.apache.catalina.connector.ClientAbortException: java.io.IOException: Broken pipe"
      - match:    
          message: "[SUCCESS]"
 
# (Required)
# 报警方式，有邮件 jira等等，github上还有微信等,官网介绍https://elastalert.readthedocs.io/en/latest/ruletypes.html#alerts
#我用的是command 即执行一个命令，比较灵活一些
alert:
- command
#- email
pipe_match_json: true #把参数以json文件流的形式传入，python中以 sys.stdin.read()接受
command: ["/root/elastalert/your_rule_folder/command_alert.py"]

rule设置各自独立以文件方式存储在rules_folder设置的目录里。其中可以定义下面这些参数：

• name 配置，每个规则需要有自己独立的名称，一旦重复，进程将无法启动。
• type 配置，选择某一种数据验证方式。
• index 配置，从某类索引里读取数据，目前已经支持Ymd格式，需要先设置use_strftime_index：true，然后匹配索引，配置形如：index：logstash-es-test-％Y。％m。％d，表示匹配logstash-ES-测试名称开头，以年月日作为索引后缀的索引。
• filter 配置，设置向ES请求的过滤条件。
• timeframe 配置，累积触发报警的时长。
• alert 配置，设置触发报警时执行哪些报警手段。

type :不同的类型还有自己独特的配置选项。目前ElastAlert有以下几种自带ruletype：

• any：只要有匹配就报警;
• blacklist：compare_key字段的内容匹配上blacklist数组里任意内容;
• whitelist：compare_key字段的内容一个都没能匹配上whitelist数组里内容;
• change：在相同query_key条件下，compare_key字段的内容，在timeframe范围内发送变化;
• frequency：在相同query_key条件下，timeframe范围内有num_events个被过滤出来的异常;
• spike：相同在query_key条件下，两个前后timeframe范围内数据量相差比例超过spike_height。可以其中通过spike_type设置具体涨跌方向的英文up，down，both。可以还通过threshold_ref设置要求上一个周期数据量的下限，threshold_cur设置要求当前周期数据量的下限，如果数据量不到下限，也不触发;
• flatline：timeframe范围内，量数据小于threshold阈值;
• new_term：fields字段新出现之前terms_window_size（默认30天）范围内最多的terms_size（默认50）个结果以外的数据;
• cardinality：在相同query_key条件下，timeframe范围内cardinality_field的值超过max_cardinality或者低于min_cardinality。

初始化

安装完成后会自带三个命令：

• elastalert-create-index ElastAlert会脚执行记录存放到一个ES索引中，该命令就是用来创建这个索引的，默认情况下，索引名叫elastalert_status。其中有4个_type，都有自己的@timestamp字段，所以同样也可以用kibana来查看这个索引的日志记录情况。
• elastalert-rule-from-kibana从Kibana已保存的仪表盘中读取Filtering设置，帮助生成config.yaml里的配置。不过注意，它只会读取过滤，不包括查询。
• elastalert-test-rule测试自定义配置中的规则设置。

直接运行：

1. elastalert-create-index

2. elastalert-test-rule your_rule_folder/your_rule.yaml
   

使用

在elastalert/下运行

python -m elastalert.elastalert --config ./config.yaml --verbose --rule your_rule_folder/your_rule.yaml

-m 相当于import,叫做当做模块来启动

--config 指定配置文件 默认./config.yaml

--verbose 把详细信息打印出来

--rule 指定 rule文件