Elasticsearch生态圈

Elasticsearch生态圈

Elasticsearch主要功能

1. 海量数据的分布式存储和集群管理
    1. 服务和数据的高可用，水平扩展
2. 近实时搜索，性能卓越
    1. 结构化/全文/地理位置/自动完成
3. 海量数据的近实时分析
    1. 数据聚合

Elastic Stack家族成员以及应用场景

Logstash(做日志采集与处理)

1. 开源的服务器端数据处理管道，支持从不同的来源采集数据，转换数据，并将数据发送到不同的存储库中
2. 实时解析和转换数据
    1. 从IP地址破译出地理坐标
    2. 讲PLL数据匿名化，完全排除敏感字段
3. 可扩展
    1. 200多个插件(日志，数据库，Arcsigh，Netflow)
4. 可靠性安全性
    1. Logstash会通过持久化队列来保证将运行中的事件至少送达一次
    2. 数据传输加密
5. 监控    

Kibana(可视化分析利器)

1. 基于Logstash做各种各样的图表分析

Beats 轻量级数据采集器

1. 各种数据源的抓取

X-pack(商业化套件)

1. 安全
2. 告警
3. 监控
4. 图查询
5. 机器学习

ELK应用场景

1. 网站搜索/垂直搜索/代码搜索
2. 日志管理与分析/安全指标监控/应用性能监控/web专区舆情分析 

流程

1. 日志搜集
2. 格式化分析
3. 全文检索
4. 风险告警

Elastichsearch与数据库集成

1. 单独使用elastichsearch作为存储
2. 以下情况可以考虑与数据库集成(先写入数据库，再同步elastichsearch)
    1. 与现有系统的集成
    2. 需要考虑事务性
    3. 数据更新频繁

指标分析/日志分析流程图

更多内容欢迎关注我的个人公众号“韩哥有话说”，100G人工智能学习资料，大量后端学习资料等你来拿。

本文由博客群发一文多发等运营工具平台 OpenWrite 发布