第5课：基于案例一节课贯通Spark Streaming流计算框架的运行源码（Spark streaming源代码导入IDEA）

 第5课：基于案例一节课贯通Spark Streaming流计算框架的运行源码
1、在线动态计算分类最热门商品案例回顾演示
2、基于案例贯通Spark Streaming的运行源代码

 

第一步，从IDEA中关联Spark Streaming源代码

本地笔记本之前在eclipse(Java EE).exe通过maven方式获取了 Spark Streaming源代码，在eclipse的Maven Dependencies中找到spark-streaming_2.10的目录路径C:\Users\admin\.m2\repository\org\apache\spark\spark-streaming_2.10\1.6.0，

然后在IDEA中进行Spark Streaming源代码关联，File -〉Project Structure->Libraries->+ Java 导入Jar 包

spark-streaming_2.10-1.6.0.jar
spark-streaming_2.10-1.6.0-sources.jar

本机笔记本仍是spark 1.6.0 版本

 

 

第二步， 接下来我们就可以在IDEA中阅读Spark Streaming源代码了。 

 

1、从new StreamingContext着手，深入Spark Streaming源代码

2、StreamingContext实例ssc创建socketTextStream，读取master节点9999端口接收到的消息。

 

SocketInputDStream的源代码

SSC.START源代码追踪

 

receiver.scala源代码

 

jobGenerator.start源代码