腾讯AI大佬详解Apache Kafka实战

内容简介

1.Apache Kafka简介：

Apache Kafka是由Apache软件基金会开发的一个开源消息系统项目，由Scala写成。Kafka最初是由LinkedIn开发，并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台。

Kafka是一个分布式的、分区的、多复本的日志提交服务。它通过一种独一无二的设计提供了一个消息系统的功能。

2.相关术语

1)Kafka维护按类区分的消息，称为主题(topic)

2)生产者(producer)向kafka的主题发布消息

3)消费者(consumer)向主题注册，并且接收发布到这些主题的消息

4)kafka以一个拥有一台或多台服务器的集群运行着，每一台服务器称为broker

从高层来说，生产者(producer)通过网络发消息到kafka集群，而kafka集群则以下面这种方式对消费者进行服务。

本书介绍：

本书是涵盖Apache Kafka 各方面的具有实践指导意义的工具书和参考书。作者结合典型的使用场景,对Kafka 整个技术体系进行了较为全面的讲解，以便读者能够举一反三，直接应用于实践。同时，本书还对Kafka的设计原理及其流式处理组件进行了较深人的探讨，并给出了翔实的案例。

前言

这是一个最好的大数据时代，这是一个最坏的大数据时代!很抱歉，我使用了这句改编后的狄更斯名言作为开头，我想没有谁会质疑“当今是大数据;时代”这个论点。今年(2018 年)两会上李克强总理所做的政府工作报告中多次提及大数据等关键词，这已然是“大数据"第5次被写入政府工作报告了。具体到大数据行业内，各种各样的大数据产业方兴未艾，其中在实时流式处理领域涌现出大量的技术与框架，令技术人员们应接不暇。实时流式处理系统在克服了传统批处理系统延时方面的固有缺陷的同时，还摆脱了设计上的桎梏，实现了“梦寐以求”的正确性。可以说，对于流式处理从业人员来说，这正是摩拳擦掌、大展宏图的最好时代。

本书适合所有对云计算、大数据处理感兴趣的技术人员阅读，尤其适合对消息引擎、流式处理技术以及框架感兴趣的技术人员参考阅读。

第1章：认识Apache Kafka

本章作为本书的第1章，将带领读者对Apache Kafka系统及其生态圈建立一个宏观的概念和认识。同时，本章将结合消息引擎系统的相关知识与设计理念，循序渐进地对Kafka 系统的设计架构和相关概念进行展开，并给出简单示例以快速上手Kafka。

第2章：Kafka发展历史

简要回顾了Apache Kafka的发展历史;

第3章：Kafka线上环境部署

详细介绍了Kafka集群环境的搭建;

第4、5章：producer开发和sonsumer开发

深入探讨了Kafka 客户端的使用方法

第6章：Kafka设计原理

带领读者一览Kafka内部设计原理;

第7~9章：以实例的方式讲解了Kafka集群的管理、监控与调优;

第10章：介绍了Kafka 新引入的流式处理组件。

由于文章篇幅有限，为了节省大家的时间，所以整理出来了一部分内容供大家参考。小编已经帮助大家把文档整理出来了，只需要私信【学习】二字即可。

如果大家喜欢小编的文章可以关注、转发，万分感谢！