传智播客的云计算大数据课程表

云计算大数据基础班

1.Java语言入门

基础班课程大纲
所处阶段	主讲内容	技术要点	学习目标
第1阶段： Java语言入门	1.计算机基础知识	1.计算机基础；2.DOS常用命令；3.Java概述；4.JDK环境安装配置；5.环境变量配置；6.Java程序入门	可掌握的核心能力： （1）能够掌握DOS系统常用基本命令； （2）熟练使用eclipse编写java代码； （3）熟练使用java语言的常用对象； （4）使用java编写单机应用程序； （5）掌握面向对象编程思想，为以后深入学习JavaEE就业课程打下坚实的基础。         可解决的现实问题： 学生具备Java基础，为JavaEE就业班的学习打下基础。 市场价值：  具备Java语言编程基础，但是还不能达到企业的用人标准。
	2.编程基础	1.常量与变量；2.数据类型；3.运算符；4.流程控制语句；5.方法；6.数组
	3.面向对象	1.面向对象思想；2.类与对象；3.成员变量和局部变量；4.封装；5.this关键字；6.构造方法
	4.常用类	1.Object类；2.Scanner类；3.Random类；4.String；5.StringBuilder类
	5.集合	1.集合概述；2.集合特点；3.ArrayList集合
	6.IO	1.字符输入流；2.字符输出流；3.字符缓冲输入流；4.字符缓冲输出流；5.复制文件；6.集合与文件中数据相互读写

2.第一阶段：电商基础架构

阶段划分	主要内容	技术点
第一阶段： 电商基础架构	数据库	Mysql安装配置、SQL语法入门、数据导入导出
		数据建模、SQL高级查询
		JDBC入门、SQL注入、事务管理、批处理
		连接池（Druid）、DBUtils框架
	静态网站开发与部署	HTML
		CSS
		JavaScript
		BootStrap
		Linux常用操作
		Nginx服务器 网页配置
	动态网站开发与部署	Tomcat服务器、Servlet、Request、Response
		HTTP协议、Request、Response
		JSP入门、JSTL(forEach)、EL、MVC模式
		JQuery基础、选择器、对象、闭包调用
		JQuery DOM 操作、JQuery 事件、Ajax
		JQuery Ajax、JSONP
		分页综合案例（列表）、三层模式、DAO
		Cookie、jQuery读取cookie、Session（登陆）
		JavaMail注册、Redis入门、激活码
		log4j、JUL、JCL、Slf4j、Tomcat日志分析
		Filter过滤器
	网站开发三大框架	Maven
		MyBatis
		Spring
		Spring MVC

3.第二阶段：爬虫搜索系统

阶段划分	主要内容	技术点
第二阶段： 爬虫搜索系统	京东爬虫开发	网络爬虫
		Redis、Redis Cluster
		Redis Cluster、动态代理
	分布式搜索系统	Lucene、Solr
		Solr、Solr Cloud

4.第三阶段：分布式电商系统

阶段划分	主要内容	技术点
第三阶段： 分布式电商系统	电商网站主体架构搭建	电商基础知识、背景分析、项目需求分析
		Dubbo、AngularJS、商家管理平台、网站管理平台
		Dubbo、AngularJS、AngularJS 分页实现
		Dubbo、AngularJS、商家入驻审核、按条件查询商家
	电商网站商品管理	电商核心业务实现、图片上传、图片压缩、分布式图片服务器
		电商核心业务实现、规格管理、类型管理
		电商核心业务实现、商品分类管理（树形结构）
		电商核心业务实现、商品录入、商品审核、商品上架
		电商核心业务实现、商品展示、freemarker静态化
	页面静态化及搜索	电商核心业务实现、freemarker静态化、首页轮播图管理、首页楼层管理
		电商核心业务实现、Solr、商品及店铺搜索
		电商核心业务实现、Solr、商品及店铺搜索+ 选择区
	单点登录及购物流程实现	电商核心业务实现、登录、单点登录（SSO）、我的品优购首页
		电商核心业务实现、购物车的实现
		电商核心业务实现、ActiveMQ消息队列、收货地址管理 、订单生成
		电商核心业务实现、支付宝系统对接  ActiveMQ消息队列
		电商核心业务实现、订单查询、我的收藏
	百万级网站部署及优化	Nginx、Hudson、Solr Cloud
		Nginx、Keepalived、负载均衡、反向代理、高并发
		Redis Cluster、FreeMarker页面静态化、高并发
		Mycat 数据库分库分表方案、高并发
		Docker容器部署、热部署、高并发

5.第四阶段：构建离线数据分析平台

阶段划分	主要内容	技术点
第四阶段： 构建离线数据分析平台	大数据分析基础课	数据分析、数据分析基本步骤、数据分析师的职业发展、常用的数据分析方法论、大数据时代的思维变革、商业变革、管理变革
	海量数据分布式存储框架	点击流日志系统解决方案、点击流日志系统部署及电商项目集成、Hadoop集群搭建
		Hadoop HDFS数据存储原理、Flume点击流日志数据采集
	数据仓库管理与数据分析	数据仓库基本概念、数据仓库工具HIVE快速入门、创建点击流数据数据仓库、点击流数据分析（HiveSql）
		点击流数据分析结果导出（Sqoop）、报表平台开发及数据展示、点击流数据分析需求开发
		调度系统使用及说明、Sqoop采集Mysql数据、跨部门数据采集管理之FTP规范、数据质量检测与元数据管理
	Hive高级开发与分布式计算框架	Hadoop ；HIve ；UDF函数编写、Hadoop ；MapReduce计算模型、Hadoop ；MapReduce ；案例开发；Hadoop ；MapReduce ；案例开发、HadoopMapReduce原理剖析；Hadoop ；NameNode元数据备份、Hadoop ；NameNode ；HA、企业海量数据分析平台规划。
	分布式内存计算框架	升级Hive执行引擎为Spark、使用Spark Sql完成点击流日志业务需求、打通Spark数据收集、存储、计算、展示流程
		使用Spark处理业务数据、Spark 核心概念（RDD、DAG）、探讨分布内存文件系统Alluxio的使用

6.第五阶段：构建实时数据分析平台

阶段划分	主要内容	技术点
第五阶段： 构建实时数据分析平台	实时计算基础课	实时计算平台解决方案、Kafka基础与常用API、使用Flume收集数据到Kafka
		使用Storm对数据进行分析、Flume+Kafka+Storm+Redis+Mysql整合
	实时分析系统案例	实时日志分析需求、实时日志分析结构说明、实时日志分析代码开发
		实时日志系统报表开发、实时业务数据分析 实时业务数据报表开发
		Hbase列式数据库、实时用户行为轨迹、电商网站集成
	推荐系统	推荐系统介绍、推荐系统开发流程、使用Mahout的离线计算数据
		MapReduce离线数据清洗、Storm实时数据清洗、推荐引擎集成
	大数据搜索系统	开源分布式搜索引擎（Elasticsearch、Logstash和Kibana ）
		开源分布式搜索引擎（Elasticsearch、Logstash和Kibana ）

7.第六阶段：推荐系统算法与源码分析

阶段划分	主要内容	技术点
第六阶段： 推荐系统算法与源码分析	Python与机器学习	Python入门、机器学习概论、机器学习决策树与Python案例
		机器学习KNN与Python案例、机器学习SVM与Python案例、机器学习神经网络与Python案例
	Scala语言与Spark核心	Scala基础
		Spark Core
	分布式框架原理	Spark源码编译、Master和Worker启动流程源码分析、SparkContext创建过程源码分析、
		Master资源调度源码分析、DAGScheduler执行过程、DAG划分Stage过程、TaskScheduler提交Task过程等等
		Storm源码编译、任务提交机制分析、任务分配机制分析、任务执行、任务运行机制等等
	毕业	新的征程、新的挑战、新的机遇