大数据方向学习方向和目标

一、学习目标
企业级大数据工程师实训以Java，Python，数据库，Linux 为技术基础，提高学员大数据开发技术水平及综合素质为根本目标。在专业技术上突出强调学员对专业知识的实际应用；在综合素质上突出强调学员的学习及应用能力、分析和解决问题的能力、良好的职业素质和团队合作。
立足于培养大数据开发、架构设计、项目管理、技术支持等方向的人才，学生在具有必备的基础理论知识和专业知识的基础上，培养以下能力：
①掌握主流的开源大数据技术,包括安装、使用、开发；
②理解大数据开发特点；能基于用户的业务场景给出大数据技术解决方案；
③掌握企业大数据项目开发分析、设计、实现、测试、发布全过程；
④了解并体验企业工作环境和工作方式；
⑤培养职业素质、团队合作精神及沟通能力，体验企业文化，适应未来的工作环境；
⑥增强实训学员的就业能力，培养符合企业需求的大数据工程师。
二、学习方向
阶段一：大数据基础

1. Linux虚拟机安装
2. Linux操作方法与常用命令
3. Linux软件安装。
4. 复杂逻辑的SQL实现
5. 海量数据的SQL开发注意事项
6. 简单网络数据抓取
7. 需验证登录的网络数据抓取
   阶段二：数据仓库
8. 数据仓库基本概念
9. 数据仓库设计
10. 用kettle实现ETL开发
11. 用EasySchedule实现ETL开发
12. 数据质量和任务调度
    阶段三：Apache Hadoop
13. Hadoop安装与参数设置
14. Hadoop概述
15. HDFS操作方法
16. java开发远程访问HDFS
17. MR开发语法
18. hadoop生态绍
19. Apache Hive简介与操作
20. Apache Hive开发
21. Apache Spark安装
22. Apache Spark原理
23. Apache Spark Dataset开发语法
24. Apache Spark SQL开发语法
25. Apache Spark RDD开发语法
26. Apache Spark RDD开发案例解析
27. Apache HBASE安装
28. Apache HBASE原理
29. Apache HBASE开发语法
    阶段四：流计算
30. Apache KAFKA安装
31. Apache KAFKA原理
32. Apache KAFKA消息生产者开发
33. Apache KAFKA消息消费者开发
34. Apache Flink安装
35. Apache Flink原理
36. Flink DataStream 接收socket数据源
37. Flink DataStream 接收KAFKA数据源
38. Apache Flink 数据输出到hdfs、mysql
    阶段五：高性能数据库
39. ElasticsSearch安装
40. ElasticsSearch原理
41. ElasticsSearch的增删改查开发
42. ClickHouse安装
43. ClickHouse原理
44. ClickHouse语法
45. ClickHouse远程访问
    阶段六： 数据挖掘
46. 数据挖掘流程
47. 常用算法
48. 数据挖掘工具WEKA使用
49. Java调用WEKA算法开发
50. Java 调用xgboost算法开发
51. Python调用常用机器学习算法
    阶段七：数据可视化
52. JimuReport安装
53. JimuReport开发流程
54. JimuReport表格开发
55. JimuReport图形开发
    阶段八： 架构设计
56. 架构设计概述
57. 功能架构设计
58. 技术架构设计
59. 系统架构设计
60. 硬件与网络设计