培训目标:

主要希望帮助培训方解决的问题
理解Storm的架构与各组件的使用场景
Storm核心的组件的架构设计与原理
Storm使用中的经验分享
互联网行业的使用案例,使其帮助客户有大数据行业入门的思维,能够自行搭建大数据平台,完成一些数据对接与分析能力、并且提升对大数据平台的认识与理解。
Storm基础知识 storm基本概念
storm应用场景
storm与hadoop的区别
Storm与spark的区别

Storm的架构与原理 Nimbus进程与Supervisor进程
storm集群环境搭建:
zookeeper集群的搭建
storm配置文件配置项讲解 storm常用组件和编程API:
Topology
Spout
Bolt Storm分组策略(Stream Groupings)、
storm项目环境的搭建
storm单词计数例子

storm高并发策略 工作进程、执行器与任务的区别
配置topology的并行度
topology实例
如何改变运行中topology的并行度

storm可靠性机制 消息处理的含义
storm的ack/fail机制
storm如何保证可靠性
storm如何实现可靠性

拓扑的常见模式 流链接(stream join)
批处理(Batching)
BasicBolt
内存中缓存与字段的组合
流的topN

storm批处理事务处理 storm批处理详解
storm事务工作原理深入讲解
storm事务相关API详解
storm事务案例分析
storm分区事务与不透明分区事务

Kafka kafka概述
kafka是什么
kafka概念详解:Topics/logs、Distributitions、Producers、Consumers、Guarantees。
kafka的应用场景
kafka的体系架构与设计原理
消息持久化
生产者与消费者
消息传输机制
复制备份
分配机制
kafka的安装部署
kafka集群环境的搭建
kafka配置项的配置与讲解
kafka的存储策略
kafka的分布与订阅
分布与订阅的原理
分布与订阅的接口
kafka使用zookeeper进行协调管理
zookeeper在kafka中的作用
zookeeper如何进行协调管理

Spark-streaming Spark streaming架构设计
Spark与storm消费kafka的对比
吞吐量对比

应用案例 中移动流计算平台介绍
阿里J storm服务介绍
百度流计算平台设计
58飞流服务系统设计
联通流计算平台设计

案例演练与能力评测 搭建storm服务平台
搭建kafka消息中心
编写测试storm程序消费kafka数据统计ID出现次数
笔试