2018-04-09 数据仓库技能要求

一、基础技能
1 关系数据库基础
1.1. 关系数据库-mysql
1.1.1 mysql 应用
1.1.2 mysql sql 优化
1.2. 非关系型数据库-Hive
1.2.1. hive sql 应用
1.2.2 Hive sql 优化
2 Apache Hadoop基础
2.1. Hadoop生态
2.2 MapReduce计算模型原理、开发及应用
2.3 Hive UDF 开发及部署
2.4 Hadoop YARN
3 存储过程
4 数据建模
4.1 维度建模基础理论
5 Java基础

6 Linux基础
6.1 Linux 基本命令

7 shell基础
7.1 shell 基本命令

8 spark基础概念
http://spark.apache.org/docs/latest/sql-programming-guide.html

二、进阶技能
scala基础

Apache Spark
spark实现mapreduce
spark 二次排序
消费kafka日志

数据算法