kafka代码实战--让你全面学习Kafka

Kafka简介：

百度百科对于Kafka的解释如下：

Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。

对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消费。

如果你想要全面的学习Kafka，可以点击【kafka代码实战--让你全面学习Kafka】，在线环境+详细的教程，带你学习Kafka，下面是该教程的一些介绍；

教程简介：

该教程以Java代码实战的方式学习Kafka。包括Kafka的安装配置、Producer API的使用、Consumer API的使用以及与第三方框架(Flume、Spark Streaming)的集成开发。对在大数据项目中经常用到的Kafka关键知识点，进行全方位、源代码级别的学习，使大家深入理解Kafka的内部机制。

实验列表：

第1节：Kafka，你好！

• 了解 MQ 消息系统的概念
• 理解 Kafka 消息系统的基本架构
• 安装单机版 Kafka 集群
• 使用 Shell 命令创建 Topic
• 使用Consumer、Producer命令行发送和接收消息

第2节：理解 Kafka 集群

• 理解 Zookeeper 和 Kafka 的关系
• 理解 broker、topic、producer、consumer、partition 等专有术语

第3节：理解 Kafka topic

• 使用 shell 命令修改 topic、删除 topic
• 使用 Java 调用 Kafka topic 相关 API
• 查看 Kafka 中消息的存储位置

第4节：客户端开发之Producer开发入门

• 开发 Producer 程序的基础知识
• 开发 Producer 程序发送消息到 Kafka 集群
• 学习创建一个 KafkaProducer 和 ProducerRecord 对象
• 学习使用默认 partitioner 和 serializer 发送消息

第5节：客户端开发之Producer开发进阶

• 画图展示 producer 发送消息到 Kafka 的过程。
• 查看 Kafka 源代码，从源码级别理解 producer发送消息的过程
• 开发自定义partitioner分区器

第6节：客户端开发之Consumer开发入门

• 理解consumer group概念
• 学习开发 consumer 程序的基本步骤
• 编程控制消费指定 offset 的消息

第7节：客户端开发之Consumer开发进阶

• 消息 offset 的同步/异步提交
• 按partition维度提交offset
• 按处理的消息量提交offset

第8节：Kafka整合Flume

• Flume 的安装和配置
• Flume 接收telnet命令行消息发送到 Kafka

第9节：Kafka企业级实战--发送/接收结构化数据

• 开发Producer发送结构化数据
• 开发Consumer读取结构化数据

第10节：kafka企业级实战--发送/接收非结构化 数据（图片/视频）

• 发送和接收图片数据
• 发送和接收视频数据

第11节：Kafka 企业级实战--Spark2.0 读取 Kafka 数据

• 使用Eclipse搭建 Spark2.0 开发环境
• 使用Spark Streaming读取 Kafka 数据并输出

最后：

• 想要学习kafka的，点击【kafka代码实战--让你全面学习Kafka】即可进行学习了~
• 更多实战项目，点击这里进行查看~
• 12条技术学习路径，带你零基础入门编程~

---

训练营是实验楼推出的专注实战应用的、有老师指导的实验教程，一般课程选题来自优秀的开源技术或仿知名网站，非常适合已学基础技术却迷茫不知道如何运用的同学。