2019-09-06 ES处理生产数据

这是年初的项目，原先司内生产数据都是采用的共享网络磁碟机的方式再用排程（SSIS）处理的，方法不错但是耦合性较高，如今有人带来了新技术，又有新的项目，那么这就是一个很好的技术迭代的机会。

项目分析

线上机械生产会产出生产LOG，其类型类似系统日志。生产LOG需要用来监察生产，所以在及时性上也有一定的要求。

项目框架

项目框架

filebeat.yml    
C:\Program Files.....
client端用戶文件抓取邏輯


S0001_L_SMT_PT200_MCD_PRO.conf
/etc/logstash.....
指定logstash偵測端口，輸出出口（至elastsearch），并分配解析


sort.rb
/etc/.......
負責解析logstash分配的任務

#########################################
#elastalert功能已移除
#config.yaml
#/ELASTALERT/.......
#elastalert主程式設定檔


#S0001_ALART_SMT_PT200_MCD_PRO.yaml
#/ELASTALERT/.......
#elastalert任務設定檔

#mcd_post.py
#/usr/lib/python2.7/.......
#負責處理elastalert的任務
#########################################

ElasticSearch.py
替代elastalert功能

图和解释有一定差距，后来对数据整合处理步骤进行了修改
再往后就是一些细节化的信息，就不多说了

结语

融入生产后维护的重点：
1.对于如何快速恢复filebeat.yml的现场需要详细指导，以防止线上因为异常更换电脑
2.ES上的数据处理注意不同server间时间差的问题（本处采用filebeat本机时间，这到是个软件问题）