ElasticSearch 史上最全最常用工具清单

1、题记

工欲善其事必先利其器,ELK Stack 的学习和实战更是如此,特将工作中用到的“高效”工具分享给大家。

希望能借助“工具”提高开发、运维效率!

2、工具分类概览

2.1 基础类工具

1、Head插件

1)功能概述:

ES集群状态查看、索引数据查看、ES DSL实现(增、删、改、查操作)

ElasticSearch 史上最全最常用工具清单_第1张图片

2)地址:http://mobz.github.io/elasticsearch-head/

2、Kibana工具

除了支持各种数据的可视化之外,最重要的是:支持Dev Tool进行RESTFUL API增删改查操作。

ElasticSearch 史上最全最常用工具清单_第2张图片

地址:https://www.elastic.co/products/kibana

3、ElasticHD工具

强势功能——支持sql转DSL,不要完全依赖,可以借鉴用。

ElasticSearch 史上最全最常用工具清单_第3张图片

地址:https://github.com/360EntSecGroup-Skylar/ElasticHD

2.2 集群监控工具

4、cerebro工具

ElasticSearch 史上最全最常用工具清单_第4张图片

地址: https://github.com/lmenezes/cerebro

5、Elaticsearch-HQ工具

管理elasticsearch集群以及通过web界面来进行查询操作

ElasticSearch 史上最全最常用工具清单_第5张图片

地址:https://github.com/royrusso/elasticsearch-HQ

2.3 集群迁移工具

6、Elasticsearch-migration工具

支持多个版本间的数据迁移,使用scroll+bulk

地址:https://github.com/medcl/elasticsearch-migration

7、Elasticsearch-Exporter

将ES中的数据向其他导出的简单脚本实现。

地址:https://github.com/mallocator/Elasticsearch-Exporter

8、Elasticsearch-dump

移动和保存索引的工具。

地址:https://github.com/taskrabbit/elasticsearch-dump

2.4 集群数据处理工具

9、elasticsearch-curator

elasticsearch官方工具,能实现诸如数据只保留前七天的数据的功能。

地址:https://pypi.python.org/pypi/elasticsearch-curator

另外 ES6.3(还未上线)  有一个 Index LifeCycle Management 可以很方便的管理索引的保存期限。

2.5 安全类工具

10、x-pack工具

ElasticSearch 史上最全最常用工具清单_第6张图片

地址:https://www.elastic.co/downloads/x-pack

11、search-guard 第三方工具

Search Guard  是 Elasticsearch 的安全插件。它为后端系统(如LDAP或Kerberos)提供身份验证和授权,并向Elasticsearch添加审核日志记录和文档/字段级安全性。

Search Guard所有基本安全功能(非全部)都是免费的,并且内置在Search Guard中。Search Guard支持OpenSSL并与Kibana和logstash配合使用。

地址:https://github.com/floragunncom/search-guard

2.6 可视化类工具

12、grafana工具

ElasticSearch 史上最全最常用工具清单_第7张图片

地址:https://grafana.com/grafana

grafana工具与kibana可视化的区别:

  1. 如果你的业务线数据较少且单一,可以用kibana做出很棒很直观的数据分析。

  2. 而如果你的数据源很多并且业务线也多,建议使用grafana,可以减少你的工作量

对比:https://www.zhihu.com/question/54388690

ElasticSearch 史上最全最常用工具清单_第8张图片

2.7 自动化运维工具

elasticsearch免费的自动化运维工具

13、Ansible

https://github.com/elastic/ansible-elasticsearch

14、Puppet

https://github.com/elastic/puppet-elasticsearch

15、Cookbook

https://github.com/elastic/cookbook-elasticsearch

以上三个工具来自medcl大神社区问题的回复,我没有实践过三个工具。

2.8 类SQl查询工具

16、Elasticsearch-sql 工具

sql 一款国人NLP-china团队写的通过类似sql语法进行查询的工具

地址:https://github.com/NLPchina/elasticsearch-sql

ES6.3+以后的新版本会集成sql。

2.9 增强类工具

17、Conveyor 工具

kibna插件——图形化数据导入工具

地址:http://t.cn/REOhwGT

18、kibana_markdown_doc_view 工具

Kibana文档查看强化插件,以markdown格式展示文档

地址:http://t.cn/REOhKgB

19、 indices_view工具

indices_view 是新蛋网开源的一个 kibana APP 插件项目,可以安装在 kibana 中,快速、高效、便捷的查看elasticsearch 中 indices 相关信息

地址:https://gitee.com/newegg/indices_view

20、dremio 工具

ElasticSearch 史上最全最常用工具清单_第9张图片

ElasticSearch 史上最全最常用工具清单_第10张图片

支持sql转DSL,

支持elasticsearch、mysql、oracle、mongo、csv等多种格式可视化处理;

支持ES多表的Join操作

地址:https://www.dremio.com/

2.10 报警类

21、elastalert

官网地址: http://elastalert.readthedocs.org/

使用举例:当我们把ELK搭建好、病顺利的收集到日志,但是日志里发生了什么事,我们并不能第一时间知道日志里到底发生了什么,运维需要第一时间知道日志发生了什么事,所以就有了ElastAlert的邮件报警。

22、sentinl

SENTINL还旨在简化在Siren Investigate / Kibana 6.x中通过其本地应用程序界面创建和管理警报和报告的过程,或通过在Kibana 6.x +中使用本地监视工具来创建和管理警报和报告的过程。

官网地址:https://github.com/sirensolutions/sentinl

3、小结

突然想起鲁迅先生笔下的孔乙己“茴香豆的茴字有几种写法?”

管几种写法,适合自己的工具才是最好的!

http://t.cn/RB4MVZ0

END

关注我

640?wx_fmt=jpeg

公众号(zhisheng)里回复 面经、ES、Flink、 Spring、Java、Kafka、监控 等关键字可以查看更多关键字对应的文章

Flink 实战

1、《从0到1学习Flink》—— Apache Flink 介绍2、《从0到1学习Flink》—— Mac 上搭建 Flink 1.6.0 环境并构建运行简单程序入门3、《从0到1学习Flink》—— Flink 配置文件详解4、《从0到1学习Flink》—— Data Source 介绍5、《从0到1学习Flink》—— 如何自定义 Data Source ?6、《从0到1学习Flink》—— Data Sink 介绍7、《从0到1学习Flink》—— 如何自定义 Data Sink ?8、《从0到1学习Flink》—— Flink Data transformation(转换)9、《从0到1学习Flink》—— 介绍 Flink 中的 Stream Windows10、《从0到1学习Flink》—— Flink 中的几种 Time 详解11、《从0到1学习Flink》—— Flink 读取 Kafka 数据写入到 ElasticSearch12、《从0到1学习Flink》—— Flink 项目如何运行?13、《从0到1学习Flink》—— Flink 读取 Kafka 数据写入到 Kafka14、《从0到1学习Flink》—— Flink JobManager 高可用性配置15、《从0到1学习Flink》—— Flink parallelism 和 Slot 介绍16、《从0到1学习Flink》—— Flink 读取 Kafka 数据批量写入到 MySQL17、《从0到1学习Flink》—— Flink 读取 Kafka 数据写入到 RabbitMQ18、《从0到1学习Flink》—— 你上传的 jar 包藏到哪里去了19、大数据“重磅炸弹”——实时计算框架 Flink20、《Flink 源码解析》—— 源码编译运行21、为什么说流处理即未来?22、OPPO数据中台之基石:基于Flink SQL构建实数据仓库23、流计算框架 Flink 与 Storm 的性能对比24、Flink状态管理和容错机制介绍25、原理解析 | Apache Flink 结合 Kafka 构建端到端的 Exactly-Once 处理26、Apache Flink 是如何管理好内存的?27、《从0到1学习Flink》——Flink 中这样管理配置,你知道?28、《从0到1学习Flink》——Flink 不可以连续 Split(分流)?29、Flink 从0到1学习—— 分享四本 Flink 的书和二十多篇 Paper 论文30、360深度实践:Flink与Storm协议级对比31、Apache Flink 1.9 重大特性提前解读32、如何基于Flink+TensorFlow打造实时智能异常检测平台?只看这一篇就够了33、美团点评基于 Flink 的实时数仓建设实践34、Flink 灵魂两百问,这谁顶得住?35、一文搞懂 Flink 的 Exactly Once 和 At Least Once36、你公司到底需不需要引入实时计算引擎?37、Flink 从0到1学习 —— 如何使用 Side Output 来分流?38、一文让你彻底了解大数据实时计算引擎 Flink39、基于 Flink 实现的商品实时推荐系统(附源码)40、如何使用 Flink 每天实时处理百亿条日志?

Flink 源码解析640?wx_fmt=png

知识星球里面可以看到下面文章

640?wx_fmt=png喜欢就点个"在看"呗^_^

你可能感兴趣的:(ElasticSearch 史上最全最常用工具清单)