《专题五 容器化微服务》之《第三章 云原生DevOps》之《第二节 监控》

《3.2.1 ELK》

• 1 15 传统查看日志的方法：SSH到节点上，通过linux命令

• 3 55+ EFK:
  
  Elasticsearch:
  

• 10 30+ 容器与Kubernetes里的日志，与传统主机模式下的日志有较大区别

• 13 54+ 部署方式

《3.2.2 filebeat》

• 13 55+ Filebeat采集容器化日志

• 两种部署方式：Sidecar, Daemonset. Daemonset的优点在于filebeat没有侵入业务pod :
  

• 20：40 filebeat对k8s的支持：通过监听k8s事件，自动采集容器的标准输出

《3.2.3 Elasticsearch与Kibana》

• 6分 基本概念：文档(document)、索引(index)、分片(shard)、副本(replica):
  
  我注：之前一直混淆了es的index与Lucene的index。今天仔细一想不对，es的index由document组成，而document是用户写入的一堆json数据，它们与Lucene的倒排索引看起来不是一个东西啊。搜了两篇资料(引用在下面了)，基本确定es的shard对应Lucene的index。我觉得可以把Lucene的index类比于mysql的B+索引，是用于加快查询shard的；而es的index是其数据组织的一个大单元，所以两者明显不是一个东西。

10 Elasticsearch Concepts You Need to Learn 之 “6. Shards” ：

Put simply, shards are a single Lucene index…
When you create an index, you can define how many shards you want. Each shard is an independent Lucene index

StackOverFlow : What is elasticsearch index , Lucene index and inverted index :

Elasticsearch index consist of Shards(Lucene index) and Lucene index consists of inverted index …
every Elasticsearch shard is a full blown lucene index

另外，本博----《专题三分布式系统》之《第四章 拓展进阶（二）——搜索引擎ES》 之 《4.12.5 ES高性能集群》也提到：每个分片或副本，都是Lucene的一个索引

我：es的index类似kafka的topic, es的shard类似kafka的partition,副本类似kafka的副本,控制写一致性的wait_for_active_shards¹,²参数类似于kafka的acks参数（除了es当有多个请求需要访问同一个index时，各shard的多副本上可并行搜索；相比之下，kafka的partition只能分配给一个消费者组里的一个消费者）

关于为什么es增加副本可以增加搜索的吞吐量，可查阅本博-----光汇石油面试（部分）

---

1. ES写入过程和写入原理调优及如何保证数据的写一致性 ↩︎

2. es官网----wait_for_active_shards ↩︎