大数据Spark “蘑菇云”行动第50课程 Spark 2.0项目概述 项目!!!大项目!!!超大型大数据项目!!!

大数据Spark “蘑菇云”行动第50课程 Spark 2.0项目概述

从9月20号的大数据项目课程内容开始,所有的同学每节课必须按照课程内容动手实战,且基于课程内容写项目的学习博客;

第一步:
需求:数据的输入和数据的产出,大数据技术项目好比一台榨汁机,数据输入相当于例如苹果、柠檬等,然后通过榨汁机产出果汁;
 
 
第二步:数据量、处理效率、可靠性、维护性、简洁性
 
 
第三步:数据建模
 
第四步:架构设计:数据怎么进来,输出怎么展示,最最重要的是处理流出的架构;
 

第五步:我会再次思考大数据系统和企业IT系统的交互;
 

第六步:最终确定的技术(例如Spark、Kafka、Flume、HBase)选择、规范等

 

第七步骤:基于数据建模写基础服务代码

 

第八步:正式编写第一个模块!编码、测试、调试、改进等等

 

第九步:实现其它的模块,并完成测试和调试等

 

第十步:测试和验收
 
 
  大数据Spark “蘑菇云”行动第50课程 Spark 2.0项目概述 项目!!!大项目!!!超大型大数据项目!!!_第1张图片
 
 

你可能感兴趣的:(大数据蘑菇云行动)