【微服务消息中间件】Kafka概述与原理

一、参考资料

1. kafka设计与原理

Kafka 设计与原理详解_Heaven Wang 的专栏-CSDN博客_kafka原理一、Kafka简介1.1 背景历史当今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产出各种信息，在大数据时代，我们面临如下几个挑战：如何收集这些巨大的信息如何分析它如何及时做到如上两点以上几个挑战形成了一个业务需求模型，即生产者生产（produce）各种信息，消费者消费（consume）（处理分析）这些信息，而在生产者与消费者之间，需要一个沟通两者的桥梁-消息系统。从一https://blog.csdn.net/suifeng3051/article/details/48053965

2. 深入理解kafka

深入理解Kafka：核心设计与实践原理-朱忠华-微信读书本书从Kafka的基础概念切入，循序渐进地转入对其内部原理的剖析。本书主要阐述了Kafka中生产者客户端、消费者客户端、主题与分区、日志存储、原理解析、监控管理、应用扩展及流式计算等内容。虽然Kafka的内核使用Scala语言编写，但本书基本以Java语言作为主要的示例语言，方便大多数读者的理解。虽然本书没有明确的界定，但总体上可以划分为三个部分：基础篇、原理篇和扩展篇，前4章为基础篇，包括基础概念、生产者、消费者，以及主题与分区，学习完这4章的内容完全可以应对绝大多数的开发场景。第5章至第8章为原理篇，包括对日志存储、协议设计、控制器、组协调器、事务、一致性、可靠性等内容的探究，学习完这4章的内容可以让读者对Kafka有一个深刻的认知。最后4章从应用扩展层面来做讲解，可以归类为扩展篇，主要内容包括监控、应用工具、应用扩展（延时队列、重试队列、死信队列、消息轨迹等）、与Spark的集成等，让读者可以对Kafka的生态有一个更加全面的认知。本https://weread.qq.com/web/reader/e9a32a0071848698e9a39b8kc81322c012c81e728d9d180

3. kafka实战

kafka实战篇（二）：消息消费实战_静待花开-CSDN博客_kafka实战本文主要使用java来实战kafka消费数据的过程，解析并实现kafka手动提交offset和自动提交offset的demo，并进行详细的总结和对比。https://blog.csdn.net/qq_26803795/article/details/105731900