Eleastic-Search使用入门介绍

文章目录

    • 部署架构
    • 基础概念模型
      • 基础原理参考资料
    • 基本组件
    • 应用场景
    • 参考资料

记录es学习应用的过程和相关总结。2015年左右自己摸索应用在产线应用日志收集分析、报警。
Eleastic-Search使用入门介绍_第1张图片
整理的分享大纲如上图。

部署架构

Eleastic-Search使用入门介绍_第2张图片
https://www.elastic.co/guide/en/logstash/current/deploying-and-scaling.html

基础概念模型

index 索引–数据库
Primary-shard–lucene实例
Replica-shard–分片副本
Document–row
Field–column
Mapping—ddl,analysis

基础原理参考资料

ES写入数据的原理

基本组件

  • filebeat

  • packetbeat

  • logstash
    处理各种类型的日志数据,比如ApacheWeb日志和 log4j 应用日志等。
    支持各种格式的日志,比如syslog、Windows事件日志、网络和防火墙日志等。
    从Ganglia、collectd、NetFlow、JMX等许多其他基础架构以及基于TCP和UDP的应用平台搜集度量数据
    http://www.2cto.com/os/201411/352015.html
    https://www.elastic.co/guide/en/logstash/current/working-with-plugins.html
    http://grokdebug.herokuapp.com/

  • elastic-search
    分片
    索引
    查询优化

  • kibana

应用场景

  • 日志收集、分析、报警
  • DB慢sql查询
  • http服务状态统计报表
  • 全文搜索

参考资料

mysql-slow-log
kibana-logstash-es
index过程
资料汇总
https://elasticsearch.cn/topic/

你可能感兴趣的:(big-data)