写在《大数据原理与实践》专栏开始前

大数据作为继云计算、物联网之后IT行业又一颠覆性的技术，备受关注，它好比是21世纪的石油和金矿，是一个国家提升综合竞争力的又一关键资源。大数据既是一类数据，也是一项技术。到2020年全球数据使用量将达到约44ZB（1ZB=10万亿亿字节），将涵盖经济社会发展各个领域。2015年国务院常务会议通过的《关于促进大数据发展的行动纲要》非常强调开发应用好大数据这一基础性战略资源，教育部高等学校教学指导委员会也将“大数据”列为十三五期间高等学校的教学改革和教学建设的重点。

大数据时代的到来，迫切需要高校及时建立大数据技术课程体系，为社会培养和输送一大批具备大数据专业素养的高级人才，满足社会对大数据人才日益旺盛的需求。本专栏定位为大数据原理与实践的通识入门课程，为学生搭建起通向“大数据知识空间与技能实践”的桥梁和纽带。课程将系统梳理总结大数据相关原理、技术和实践案例，帮助学生形成对大数据知识体系及其应用领域的轮廓性认知，为学生在大数据领域“深耕细作”奠定基础、指明方向，最终形成大数据思维，开展大数据创新实践。课程的核心可以概括为：基本概念 + 技术原理 + 创新实践。

课程共分三大部分，包括：大数据基础、技术原理和创新实践。大数据基础部分主要介绍大数据的基本概念、技术架构和大数据的应用场景；第二部分大数据技术原理主要介绍大数据的感知与采集、大数据存储、大数据管理、大数据计算、大数据分析、以及大数据可视化与可视化分析；最后，在大数据创新实践部分主要介绍了大数据创新方法，及其在互联网、科学研究、智慧城市、金融、医疗、商业等各个领域的典型应用和创新实践。

全部课程共3大部分，11个章节，外加1个课外Lab，以及1个创新实践部分。

图1大数据原理与实践知识体系

课程大纲（Tentative）

第一部分大数据基础

第1章 大数据的基本概念

·       大数据全景图

·       从IT时代到DT时代

·       大数据洞见（insight）

·       大数据总体框架

·       数据科学与数据工程

第2章 大数据的技术架构

·       传统数据库和数据仓库

·       Hadoop及其生态系统

·       商业大数据技术架构

·       大数据商业产品

第3章 大数据的应用

·       大数据与科学研究

·       大数据与政府治理

·       大数据与智慧城市

·       大数据与公共服务

·       大数据与商业创新

第二部分大数据技术原理

第4章 大数据感知与采集

·       Digital world，数字化世界

·       互联网、云计算、物联网技术

·       智慧城市

第5章 大数据存储

·       数据存储基本概念

·       数据库存储

·       分布式文件系统HDFS

·       分布式数据库HBase

第6章 大数据管理

·       大数据仓库

·       结构化查询语言

·       NoSQL和NewSQL

第7章 大数据计算

·       分布式并行编程框架MapReduce

·       内存计算与Spark

·       SQL on Hadoop

·       图计算与流计算

第8章 大数据分析

·       统计方法

·       数据挖掘

·       机器学习

·       大数据分析语言：Python和R

第9章 大数据可视化与可视化分析

·       大数据可视化方法

·       大数据可视化工具

·       可视化分析

·       数据智能

第三部分大数据工程与实践

第10章 开放大数据与大数据工程

·       开放数据与创新

·       大数据工程方法论

·       大数据工程实践步骤

第11章 大数据创新实践案例

·       互联网大数据

·       政府大数据

·       生物大数据

·       金融大数据

·       城市大数据

·       教育大数据

除了理论教学，课程还安排课外实践Lab，依托星环科技大数据平台开展大数据方面的实践（具体后面专题介绍），包括：

·       准备工作

·       结构化数据处理

·       结构化数据典型场景解析

·       半/非结构化数据处理

·       实时流数据处理

·       综合实践

开课时间

本专栏内容微信公众号同步更新~

主要参考书

[1]. “大数据治国战略研究”课题组, 大数据领导干部读本. 人民出版社, 2015.

[2]. 吴军, 智能时代: 大数据与智能革命重新定义未来. 中信出版社, 2016.

[3]. 涂子沛, 数据之巅: 大数据革命，历史、现实与未来. 中信出版社, 2014.

[4]. 周涛, 为数据而生: 大数据创新实践. 北京联合出版公司, 2016.

[5]. 周志华, 机器学习. 清华大学出版社, 2016.

[6]. 胡晓娇, 张新(译).信号与噪声. 中信出版社, 2013.

[7]. 林子雨, 大数据技术原理与应用: 概念、存储、处理、分析与应用. 人民邮电出版社, 2015.

[8].Hunter Whitney. Data Insights, Morgan Kaufmann, 2013.

相关赛事

[1]. 中国高校大数据挑战赛: cccc.patest.cn/bigdata

[2]. 阿里天池大数据竞赛平台: https://tianchi.shuju.aliyun.com

[3]. 上海SODA大赛:soda.datashanghai.gov.cn