大数据框架

一、Hadoop入门，了解什么是Hadoop
1、Hadoop产生背景
2、Hadoop在大数据、云计算中的位置和关系
3、国内外Hadoop应用案例介绍
4、国内Hadoop的就业情况分析及课程大纲介绍
5、分布式系统概述
6、Hadoop生态圈以及各组成部分的简介
7、Hadoop核心MapReduce例子说明
二、分布式文件系统HDFS，是数据库管理员的基础课程
1、分布式文件系统HDFS简介
2、HDFS的系统组成介绍
3、HDFS的组成部分详解
4、副本存放策略及路由规则
5、NameNode Federation
6、命令行接口
7、Java接口
8、客户端与HDFS的数据流讲解
9、HDFS的可用性（HA）
三、初级MapReduce，成为Hadoop开发人员的基础课程
1、如何理解map、reduce计算模型
2、剖析伪分布式下MapReduce作业的执行过程
3、Yarn模型
4、序列化
5、MapReduce的类型与格式
6、MapReduce开发环境搭建
7、MapReduce应用开发
8、更多示例讲解，熟悉MapReduce算法原理
四、高级MapReduce，高级Hadoop开发人员的关键课程
1、使用压缩分隔减少输入规模
2、利用Combiner减少中间数据
3、编写Partitioner优化负载均衡
4、如何自定义排序规则
5、如何自定义分组规则
6、MapReduce优化
7、编程实战
五、Hadoop集群与管理，是数据库管理员的高级课程
1、Hadoop集群的搭建
2、Hadoop集群的监控
3、Hadoop集群的管理
4、集群下运行MapReduce程序
六、ZooKeeper基础知识，构建分布式系统的基础框架
1、ZooKeeper体现结构
2、ZooKeeper集群的安装
3、操作ZooKeeper
七、HBase基础知识，面向列的实时分布式数据库
1、HBase定义
2、HBase与RDBMS的对比
3、数据模型
4、系统架构
5、HBase上的MapReduce
6、表的设计
八、HBase集群及其管理
1、集群的搭建过程讲解
2、集群的监控
3、集群的管理
九、HBase客户端
1、HBase Shell以及演示
2、Java客户端以及代码演示
十、Pig基础知识，进行Hadoop计算的另一种框架
1、Pig概述
2、安装Pig
3、使用Pig完成手机流量统计业务
十一、Hive，使用SQL进行计算的Hadoop框架
1、数据仓库基础知识
2、Hive定义
3、Hive体系结构简介
4、Hive集群
5、客户端简介
6、HiveQL定义
7、HiveQL与SQL的比较
8、数据类型
9、表与表分区概念
10、表的操作与CLI客户端演示
11、数据导入与CLI客户端演示
12、查询数据与CLI客户端演示
13、数据的连接与CLI客户端演示
14、用户自定义函数（UDF）的开发与演示
十二、Sqoop，Hadoop与rdbms进行数据转换的框架
1、配置Sqoop
2、使用Sqoop把数据从MySQL导入到HDFS中
3、使用Sqoop把数据从HDFS导出到MySQL中
十三、Storm
1、Storm基础知识：包括Storm的基本概念和Storm应用
场景，体系结构与基本原理，Storm和Hadoop的对比
2、Storm集群搭建：详细讲述Storm集群的安装和安装时常见问题
3、Storm组件介绍: spout、bolt、stream groupings等
4、Storm消息可靠性：消息失败的重发
5、Hadoop 2.0和Storm的整合：Storm on YARN

6、Storm编程实战

• 大数据技术的具体内容？

  分布式存储计算架构（强烈推荐：Hadoop）

  分布式程序设计（包含：Apache Pig或者Hive）

  分布式文件系统（比如：Google GFS）

  多种存储模型，主要包含文档，图，键值，时间序列这几种存储模型（比如：BigTable，Apollo， DynamoDB等）

  数据收集架构（比如：Kinesis，Kafla）

  集成开发环境（比如：R-Studio）

  程序开发辅助工具（比如：大量的第三方开发辅助工具）

  调度协调架构工具（比如：Apache Aurora）

  机器学习（常用的有Apache Mahout 或 H2O）

  托管管理（比如：Apache Hadoop Benchmarking）

  安全管理（常用的有Gateway）

  大数据系统部署（可以看下Apache Ambari）

  搜索引擎架构（ 学习或者企业都建议使用Lucene搜索引擎）

  多种数据库的演变（MySQL/Memcached）

  商业智能（大力推荐：Jaspersoft ）

  数据可视化（这个工具就很多了，可以根据实际需要来选择）

  大数据处理算法（10大经典算法）

• 大数据中常用的分析技术？

  A/B测试、关联规则挖掘、数据聚类、

  数据融合和集成、遗传算法、自然语言处理、

  神经网络、神经分析、优化、模式识别、

  预测模型、回归、情绪分析、信号处理、

  空间分析、统计、模拟、时间序列分析

• 大数据未来的应用趋势预测？

  每个人健康和生活都需要的个性化建议；

  企业管理中的选择和开拓新市场的可靠信息来源；

  社会治理中大众利益的发现与政策满足。

http://edu.51cto.com/roadmap/view/id-89.html

Hadoop基础环境搭建与3种模式配置

Hadoop基础环境搭建与3种模式配置

◆

◆

Hadoop第一季--基础知识实战视频课程

• 1 001.Hadoop介绍【免费】
• 2 002.Hadoop基础课程VMware安装【免费】
• 3 003.Hadoop基础课程Ubuntu下载与虚拟机下安装【免费】
• 4 004.Hadoop基础课程Ubuntu常用命令【免费】
• 5 005.Hadoop基础课程Ubuntu目录和权限【免费】
• 6 006.Hadoop基础课程Ubuntu软件包桌面程序以及增强工具【免费】
• 7 007.Hadoop基础课程Ubuntu本地软件源与ISO制作.【免费】
• 8 008.Hadoop基础课程Ubuntu克隆与Mac生成&网络连接方式【免费】
• 9 009.Hadoop在Ubuntu下安装JDK【免费】
• 10 010.Hadoop在Ubuntu下安装Hadoop【免费】

Hadoop第二季-1.配置独立模式视频课程

• 1 011.Hadoop配置独立模式【免费】

Hadoop第二季-2.伪分布式模式的配置视频课程

• 1 012.Hadoop配置伪分布式模式【免费】

Hadoop第二季-3.配置完全分布式模式视频课程

• 1 013.Hadoop配置完全分布模式之修改虚拟机名称和目录【免费】
• 2 014.Hadoop配置完全分布模式之修改登录提示和主机名
• 3 015.Hadoop配置完全分布模式之使用符号链接实现配置分离
• 4 016.Hadoop完全分布模式之克隆客户机与ssh远程无密登录
• 5 017.Hadoop配置完全分布模式之IP设置与远程拷贝与格式化启动

win7下面配置环境以及mapreduce架构分析与应用

Hadoop第三季-Win7下免搭建Cygwin视频课程

• 1 018.hadoop在Win7下免Cygwin安装以及第三方增强软件介入【免费】
• 2 019.Win7下免Cygwin安装续与NativeBug解决与Dexpot【免费】

Hadoop第四季-架构分析实战视频课程

• 1 020.Hadoop架构分析之单节点体系【免费】
• 2 021.Hadoop架构分析之集群结构分析
• 3 022.Hadoop架构分析之HDFS架构分析
• 4 023.Hadoop架构分析之NN和DN原生文档解读
• 5 024.Hadoop架构分析之启动脚本分析一

Hadoop第五季-启动脚本分析视频课程

• 1 024.Hadoop启动脚本分析集群id的兼容与start-allcmd讲解【免费】
• 2 025.Hadoop启动脚本分析start-dfs与hadoop-config
• 3 026.Hadoop启动脚本分析hadoop.cmd命令
• 4 027.Hadoop启动脚本分析数据格式化与hdfs.cmd命令
• 5 028.Hadoop启动脚本分析mared和虚拟机参数的配置
• 6 029.Hadoop启动脚本分析start-yarn命令
• 7 030.Hadoop启动脚本分析yarn.cmd与yarn-evn.cmd命令
• 8 031.Hadoop架构分析之启动脚本分析终极hdsfs部分
• 9 032.Hadoop架构分析之启动脚本分析终极yarn部分

Hadoop第六季-MapReduce代码实现案例视频课程

• 1 033.Hadoop MapReduce初识【免费】
• 2 034.Hadoop MapReduce编写Mapper类【免费】
• 3 035.Hadoop MapReduce编写Reducer类【免费】
• 4 036.Hadoop MapReduce编写主函数类【免费】
• 5 037.Hadoop MapReduce独立模式运行程序【免费】

Hadoop第七季-MapReduce定制block限制+输入切割+副本数视频课程

• 1 038.Hadoop MapReduce集群模式下运行程序【免费】
• 2 039.Hadoop MapReduce集群模式调整配置与shell
• 3 040.Hadoop MapReduce集群模式调整配置最小块
• 4 041.Hadoop MapReduce集群模式调整配置考查数据分布
• 5 042.Hadoop MapReduce定制切割与副本数以及块大小定制
• 6 043.Hadoop MapReduce集群模式深入定制切割与切割法则考查
• 7 044.win7下配置networks文件映射主机名和端口号利于网络访问
• 8 045.MapReduce原理之物理导航+eclipse安装+后台启动+命令化
• 9 046.Hadoop MapReduce原理之Hadoop插件安装+配置+验证
• 10 047.Hadoop MapReduce原理之与大象装进冰箱的相似点
• 11 048.Hadoop MapReduce原理之进入流程图
• 12 049.Hadoop MapReduce原理之核心类Job和ResourceManager解读
• 13 050.Hadoop MapReduce原理之核心类NodeManager和MRAppMaster解读
• 14 051.Hadoop MapReduce原理核心类Yarn与MapTask与ReduceTask
• 15 052.Hadoop MapReduce原理之核心类RM与NM与AM的体系结构分析

Hadoop第八季-1.MapReduce原理探查准备视频课程

• 1 044.Hadoop MR win7下配置networks文件【免费】
• 2 045.Hadoop MapReduce原理之物理导航等命令化操作【免费】
• 3 046.Hadoop MapReduce原理之Hadoop插件安装+配置+验证【免费】

Hadoop第八季--2.MapReduce原理探查与大象关进冰箱+流程图视频课程

• 1 047.Hadoop MapReduce原理之与大象装进冰箱的相似点【免费】
• 2 048.Hadoop MapReduce原理之进入流程图【免费】

Hadoop第八季-3.MapReduce原理探查核心类整理分析视频课程

• 1 049.Hadoop MapReduce原理之核心类Job和ResourceManager解读【免费】
• 2 050.Hadoop MapReduce原理之核心类NodeManager和MRAppMaster解读
• 3 051.Hadoop MR原理之核心类Yarn与MapTask与ReduceTask解读
• 4 052.Hadoop MapReduce原理之核心类RM与NM与AM的体系结构分析

Hadoop第九季-1.MapReduce原理代码实战异常再现+Ant视频课程

• 1 053.Hadoop MapReduce原理代码实战之错误信息展现于分析【免费】
• 2 054.Hadoop MapReduce原理代码实战之Ant使用【免费】

Hadoop第九季--2.MapReduce原理代码实战Job提交推演视频课程

• 1 055.Hadoop MapReduce原理代码实战之Job提交推演【免费】

Hadoop第九季-3.MapReduce原理探查核心类整理分析视频课程

• 1 056.Hadoop MapReduce原理代码实战之Job初始化分析【免费】
• 2 057.Hadoop MapReduce原理代码实战之ResourceManager远程调试

YARN调度框架事件与Hadoop底层IPC和RPC通信原理解析

Hadoop第十季-YARN调度框架事件二次分发原理深度解析视频课程

• 1 058.Hadoop Yarn框架底层事件分发机制概述【免费】
• 2 059.Hadoop Yarn框架底层事件分发调试准备
• 3 060.Hadoop Yarn框架底层事件分发调试Async分发器调试
• 4 061.Hadoop Yarn底层事件分发调试RMApp事件处理调试+状态机变换
• 5 062.Hadoop Yarn框架底层事件分发调试之状态机事件触发原理

Hadoop第十一季-Hadoop底层IPC和RPC通信原理解析视频课程

• 1 063.Hadoop 底层IPC和RPC通信原理解析【免费】

Ambari、ZooKeeper、Hbase与Scala应用介绍与应用

Ambari第一季-ambari介绍、安装使用以及常见问题视频课程

• 1 069.Ambari Hadoop集群管理软件之介绍【免费】
• 2 070.Ambari Hadoop集群管理软件之下载安装配置启动登【免费】
• 3 071.Ambari之疑难问题解决与Root账户无密登录处理【免费】

Ambari第二季--集群管理本地软件栈构建与使用视频课程

• 1 072.Ambari Hadoop集群管理软件之HDP软件栈本地仓库搭建【免费】
• 2 073.Ambari Hadoop集群管理软件之AmbariServer通过本地仓库安装
• 3 074.Ambari Hadoop集群管理软件之Hadoop集群本地化安装

ZooKeeper第一季-ZK简介、下载与安装视频课程

• 1 001.ZooKeeper简介【免费】
• 2 002.ZooKeeper下载与安装【免费】

ZooKeeper第二季-Leader宕机演示、nc、zkCli命令使用视频课程

• 1 003.ZooKeeper分布式集群配制与Leader宕机测试【免费】
• 2 004.ZooKeeper分布式集群配制与nc Linux命令的网络通信利器
• 3 005.ZooKeeper分布式集群配制与zk四字符客户端指令
• 4 006.ZooKeeper分布式集群配制与zkCli.sh客户端程序使用

ZooKeeper第三季-ZK客户端编程API使用、观察者模式回调处理视频课程

• 1 007.ZooKeeper分布式集群协同之客户端API调用【免费】
• 2 008.ZooKeeper分布式集群协同之客户端API创建和删除path
• 3 009.ZooKeeper客户端API观察者模式与事件回调处理

HBase内功修炼实战视频课程

• 1 001.HBase介绍【免费】
• 2 002.HBase安装、体验
• 3 003.HBase完全分布式配置、启动与shell命令查看
• 4 004.HBase使用客户端API动态创建Hbase数据表并在Hbase下导出执行
• 5 005.HBase使用客户端API完成数据库CRUD操作
• 6 006.HBase使用新型API类库进行数据访问操作
• 7 007.HBase新API大批量插入以及hbase表结构与Hadoop文件系统
• 8 008.HBase与ZooKeeper组合应用以及在shell下操纵namespace.avi

Scala精通与实战编程视频课程

• 1 01.Scala介绍与安装【免费】
• 2 02.Scala基础【免费】
• 3 03.Scala操作符重载与Apply与包导入【免费】
• 4 04.Scala控制结构与函数【免费】
• 5 05.Scala异常处理与过程与延迟初始化【免费】
• 6 06.Scala数组与多维数组【免费】

征服Spark

征服Spark（一）入门与提高篇视频课程

• 1 01.Spark简介【免费】
• 2 02.Spark预编译版本下载安装与启动【免费】
• 3 03.Spark体验shell操作与wc操作与RDD介绍【免费】
• 4 04.Spark通过Maven进行源码编译安装【免费】
• 5 05.Spark搭建Maven本地仓库服务器【免费】
• 6 06.Spark通过本地Maven仓库服务器进行编译【免费】
• 7 07.Spark官方doc的宏观描述和优势说明【免费】
• 8 08.Spark独立集群模式部署和启动【免费】
• 9 09.Spark Master和Worker的webui查看以及FIFO作业调度讲解【免费】
• 10 10.Spark独立集群模式端口修改【免费】

征服Spark（二）Spark项目编译运行篇视频课程

• 1 11.Spark shell应用于addFile【免费】
• 2 12.Spark程序build的宏观介绍【免费】
• 3 13.通过交互模式初始化Maven项目【免费】
• 4 14.通过参数指定方式直接初始化Maven项目【免费】
• 5 15.准备java源文件到自己的源码包中【免费】
• 6 16.设置pom.xml文件依赖插件以及与自由仓库目录树的对应关系【免费】
• 7 17.使用mvn package指令进行编译并进行打包【免费】
• 8 18.使用java指令添加spark类库运行Spark程序【免费】
• 9 19.使用maven的exec执行插件运行java程序【免费】
• 10 20.配置eclipse的maven插件使用本地maven仓库服务器【免费】
• 11 21.eclipse之下maven项目的配置编译运行【免费】
• 12 22.eclipse之Scala插件的卸载与安装【免费】
• 13 23.eclipse下构建Scala程序以及运行【免费】
• 14 24.通过Scalac命令手动编译scala程序并执行【免费】
• 15 25.命令行下通过maven编译运行Scala程序【免费】
• 16 26.eclipse下通过maven+scala插件用Scala开发Spark应用【免费】