培训目标：

1、彻底理解大数据分布式日志收集工具Flume技术；
2、深入剖析Kafka大数据分布式消息中间件；
3、培养学生整合成Flume与Kafka能力，并且进行实践操作；

大数据分布式收集工具Flume部署介绍（大数据分布式收集工具Flume部署介绍） 1、什么是Flume
2、Flume简介及使用
3、Flume逻辑架构
4、Flume部署架构
5、Flume集群部署
大数据分布式收集工具Flume技术介绍（大数据分布式收集工具Flume介绍） 1、Flume数据源类型
2、Flume收集数据2种主要工作模式
3、Flume核心概念
4、Flume特点
5、Flume数据收集
6、Flume配置
7、Flume分别配置组件属性
8、Flume多agent流
9、Flume在一个agent中添加多个数据流
10、Flume配置多个agent数据流
11、Flume复用流
12、消息发送处理过程
13、Flume扇出流
14、Flume合并
15、Flume Load Balance功能
16、Flume数据源
17、Flume Sinks
18、Flume Channels
19、Flume Channel Selectors
20、Flume Sink Processors
21、Event Serializers
22、Flume Interceptors
23、Flume Properties
24、Flume可靠性机制
25、Flume可恢复性
26、Flume插件功能
27、Flume Tools
28、Alias Conventions
29、大数据集群日志数据收集
30、大数据架构案例分享及实战演练：Flume在SaaS中的应用
分布式消息中间件Kafka剖析（深入理解Kafka的实现原理 1、Kafka诞生背景剖析
2、什么是Kafka
3、Kafka特征剖析
4、Kafka架构剖析
5、Broker
6、Producer
7、Consumers
8、Topics
9、Leader
10、Follower
11、Kafka集群部署
12、队列模式（queuing）
13、发布-订阅模式(publish-subscribe)
14、Kafka创建topic、发送消息、消费消息
15、数据传输的事务定义
16、数据的持久化
17、Kafka存储在硬盘上的消息格式
18、Kafka节点管理
19、Kafka运维管理
20、Kafka主从同步
21、Kafka的性能优化
22、Kafka的消息与日志
23、Kafka实战案例：
Kafka Shell操作实战（全面深入理解Kafka相关命令和具备Kafka的运维能力）
1、Kafka Shell介绍
2、Kafka查看日志命令
3、Kafka主从命令
4、Kafka监控命令

编写Kafka程序（深入理解Kafka的APIs并动手实践） 1、搭建Kafka开发环境
2 、Driver程序开发
3、Producer程序开发
4 、Consumer程序开发
5 、发布与运行
6 、Kafka APIs全面剖析
7 、Kafka APIs应用场景剖析及案例
8 、Kafka程序监控
9 、Kafka实战案例：Kafka整合实现数据实时数据分析处理设计与分析
Flume与Kafka集成配置实操（Flume与Kafka的集群动手实践） 1、实战案例：在Flume中数据源配置为Kafka