kafka从入门到精通 以及 kafka 与sparkStreaming的俩种连接方式 kafka 对接flume

文章目录

• 一、kafka 入门及概述
  1. 定义 作用
  2. Kafka基础架构
  3. 安装部署
  4. Kafka命令行操作

• 二、kafka 架构深入
  1. Kafka工作流程及文件存储机制
  2. Kafka生产者
  3. Kafka消费者
  4. Kafka 高效读写数据的原因
  5. Zookeeper在Kafka中的作用

• 三、Kafka API
  1. Producer API
  2. Consumer API
  3. 自定义Interceptor

• 四、Flume对接Kafka的实现

• 五、Kafka监控
  1. kafka manager
  2. kafka monitor

• 六、kafka与sparkStreaming的俩种连接方式
  1. 俩连接方式的介绍
  2. 直连方式实现
  3. reciver方式实现
  4. 俩种方式对比

正文
一、kafka 入门及概述
1. 定义： kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。消息队列作为消息中间件和java 中应用的RabbitMQ 功能是一样的。
这里的发布订阅模式如下图：个生产者多个消费者，消费者消费数据之后消息不会被清除。消息会定期处理（默认一周处理一次）
消息生产者（发布）将消息发布到topic中，同时有多个消息消费者（订阅）消费该消息。和点对点方式不
同，发布到topic的消息会被所有订阅者消费。一个组内只能消费一次， 这里发布订阅模式类似微博关注。。