python在财务中的应用实训报告-数据科学与大数据技术专业实训解决方案

第一章 大数据发展背景

1.1 国家政策

 2017年1月

工业和信息化部正式发布了《大数据产业发展规划（2016－2020年）》，明确了“十三五”时期大数据产业的发展思路、原则和目标，将引导大数据产业持续健康发展，有力支撑制造强国和网络强国建设。

 2018年9月

工信部公示“2018年大数据产业发展试点示范项目名单”，公布了包括大数据存储管理、大数据分析挖掘、大数据安全保障、产业创新大数据应用、跨行业大数据融合应用、民生服务大数据应用、大数据测试评估、大数据重点标准研制及应用、政务数据共享开放平台及公共数据共享开放平台等10个方向200个项目。

 2019年11月

为进一步落实《国务院关于印发促进大数据发展行动纲要的通知》和《大数据产业发展规划（2016~2020年）》，推进实施国家大数据战略，务实推动大数据技术、产业创新发展，我国工业和信息化部将组织开展2020年大数据产业发展试点示范项目申报工作。

1.2 行业现状

据相关资料显示，随着互联网、移动互联网、物联网等信息通信技术及产业的不断发展，全球数据量呈爆发式增长态势。至此，IDC研究报告指出，根据ZDNET的统计预计到2020年，中国产生的数据总量将超过8.5ZB，是2013年的10倍。

此外，值得一提的是，大数据市场空间巨大的同时，其产业规模也有望迎来快速增长。据前瞻产业研究院发布的《中国大数据产业发展前景与投资战略规划分析报告》统计数据显示，2015年我国大数据产业规模已达2800亿元，截止至2017年我国大数据产业规模增长至4700亿元，规模增速进一步提高至30.6%，初步测算2018年我国大数据产业规模将达6200亿元左右，同比增长31.9%。并预测在2020年我国大数据产业规模增长突破万亿元，达到了10100亿元，同比增长26.3%。

2015-2020年我国大数据产业规模统计及增长情况预测

数据来源：前瞻产业研究院整理

由此可知，随着来自政策、技术以及市场等各方面的力量推进之下，大数据产业的发展潜力绝不能小觑。对此，业内人士还预期称，我国大数据产业正在从起步阶段步入黄金期，2020年中国有望成世界第一数据资源大国。

1.3 专业背景

大数据及相关专业是以计算机为基础，以挖掘、分析为主，以搭建、工具使用为辅，紧密面向行业应用的一门综合性学科。其方向有数据科学与大数据技术、概率论与数理统计、数据挖掘与数据分析、数据运维与开发、算法与数据结构、计算机网络、并行计算等多个专业方向。目前全国各类院校已陆续开始围绕大数据专业建设展开研究并申报大数据专业。

2016年，教育部批准北京大学、对外经贸大学、中南大学率先开设“数据科学与大数据技术”专业；2017年，教育部批准包括中国人民大学、北京邮电大学、复旦大学在内的共计32所高校获批“数据科学与大数据技术专业”；2018年3月，教育部发布《2017年度普通高等学校本科专业备案和审批结果》，共计255所高校获批开设“数据科学与大数据技术专业”及“大数据管理与应用专业”；2019年3月，教育部发布《2018年度普通高等学校本科专业备案和审批结果》，共计228所高校获批开设“数据科学与大数据技术专业” 及“大数据管理与应用专业”。

“大数据技术与应用”专业是2016年教育部公布的新增专业。2017年共有62所职业院校获批“大数据技术与应用”专业，2018年共有148所职业院校获批“大数据技术与应用”专业，2019年度新增195所高职院校获批“大数据技术与应用”专业。截止目前，总计405所高职院校成功申请该专业。

第二章 教学平台

红亚大数据教学平台基于高校的教学场景，运用云计算技术，集课程实验、算法实战、数据科研、考试于一体的实训平台，平台课程共计800多个任务。学生可通过浏览器访问使用，可在学校任何一个网络可达的场所进行学习。

系统课程学习模式包括实验平台、项目路径和职业路径，满足不同场景的教学需求。在教学管理方面，平台自带人工智能课程推荐功能，可为学生提供个性化课程推荐及AI课程助手，助力学生定向就业。还可以通过大数据分析，自动生成学业报告，为学生就业提供桥梁，并作为教师教学的得力助手，为高校的学生能力培养及教师的工作提供强有力的支持。

2.1 学习模式

2.1.1 实验平台

该模式以知识体系为核心，将大数据内容按照不同类型的知识模块进行分类。如大数据基础体系下包含了：Linux基础、编程基础、数学基础、数据库基础等课程；大数据进阶体系包含了：Hadoop、Spark数据处理、R语言、Python数据处理、SAS数据分析等课程；该模式围绕一个内容展开了多方面知识的学习，与现在教育方式一致，保留了师生们传统的学习授课方法。不仅如此，为满足学校的已有的课程教学资源，老师可以自定义实验内容及实验镜像，将文本类、实操类、视频类课件上传到教学平台上满足教学需求。

2.1.2 职业路径

该模式以职业岗位需求为核心，综合分析国内众多企业的大数据相关人才岗位需求，如大数据运维工程师、大数据研发工程师、大数据架构工程师，经过采集、筛选、对比、定模等一系列的流程，将岗位技能需求落实到具体的知识点，围绕一个岗位展开多方面相关技术的学习。

教师在后台可以将实验按照所需知识点的难易程度设计成一套流程体系。学生按照流程开始实验，将每一模块的技能牢牢掌握后，到最后具备胜任该职业的能力，可为自身职业发展提供有效帮助。

2.1.3 项目路径

项目路径学习模式是以还原企业的真实项目完成过程为设计思路，将大数据技能知识点与实际项目案例相结合，让学生能够真实的体会到每个知识点在实际项目中的具体作用。

将一个项目拆分成多个实验，多个实验间共同使用同一实验环境，以实现项目的连贯性和真实性。项目提供整套的实验环境及配套工具，用户在切换实验时对应的实验环境不会改变，在下一个实验会继续使用上一实验的实验环境，并最终完成该项目。具体项目案例包括大数据集群运维项目、图书馆管理系统的设计与实现、IBM离职率分析等。

2.2 练习算法

2.2.1 算法集

算法集提供了一个环境，用户可以在里面写代码、运行代码、查看结果，并在其中可视化数据，并与平台中的数据集功能进行交互式使用，可直接调用平台当中的数据集用于算法在实际数据中的实践测试。鉴于这些优点，它能帮助他们便捷地执行各种端到端任务，如数据清洗、统计建模、构建/训练机器学习模型等。

算法集的一个特色是允许把代码写入独立的cell中，然后单独执行。这样做意味着用户可以在测试项目时单独测试特定代码块，无需从头开始执行代码。虽然其他的IDE环境（如RStudio）也提供了这种功能，但就个人使用情况来看，算法集的单元结构是设计的最好的。

算法集的优势还体现在灵活性和交互性上，除了最基础的Python，它还允许用户在上面运行R语言。由于它比IDE平台更具交互性，教师也更乐于在各种教程中用它来展示代码。

2.2.2 数据集

数据集功能提供数量众多的大数据数据集，包括互联网、零售、电商、医疗等相关数据集，数据集中的数据可直接与算法集中的算法进行交互使用，为算法提供所需数据的调用支撑。

教师可根据数据集的内容、格式、数量等为学生设定开放式课题，使用真实的数据集进行大数据项目案例处理分析，深度理解掌握大数据技术是如何处理这些数据的，例如，教师给定一份数据让学生进行预测实验，学生需设计算法进行清洗与预测等。

平台提供开放式上传功能，支持用户将自己的数据上传至平台当中，并可设定是否与他人共用，可帮助用户解决数据存放管理问题，实现用户数据的开放式共享。

2.3 在线考试

2.3.1 理论考核

理论考核采用在线考核模式，将单选题、多选题、判断题、填空题、简答题添加在试卷上，每一道题的题目、正选、分值等内容可由管理员自行设置，简答题题采用关键词进行自动判分，同时也可以由教师手动判分。

2.3.2 实践测评

实践测评考核模式是以实验操作过程为考核点，也称之为实操题考核模式，由教师在管理端设置考核步骤、分值权重，平台提供配套的实验考试环境。学生在实际操作过程中遇到的考核点，需要根据实际结果去填写，到最后统一汇总分数。该模式突破了传统的考核模式，通过实操的方式来加深印象，巩固大数据知识。

2.4 智能教务

2.4.1 教学进度分析

课程实验具有核全局开关功能，打开全局考核后，进行所有实验时都必须完成实验当中设定的每一步考核才能查看下一步。接着，系统不仅自动检测到正在进行实验，也可以手动设定实验状态分析（也可以手动设置分析目标）。查看分析结果时可查看每个班级的学生在进行每个实验时完成度，查看每个实验的每个步骤的通过率、完成率、完成进度、实验总结信息等。

教学进度分析功能可通过智能化的手段，有效帮助教师分析并掌握整个班级的学习情况，根据学生完成实验的进度过程进行授课，选择重点难点部分进行针对性讲解，有效降低教师授课压力，高效完成授课任务。

2.4.2 教学计划管理

管理员在后台可以一次性布置全部的教学计划，规定上课时间与学习课程，随后学生通过在前端查看，即可了解到每一天的课程安排。

2.4.3 实验报告管理

教师通过此功能查看学生的实验报告，支持预览和批阅等功能，后台自动统计学生学习数据，展示出每个步骤的学习通过时间、成绩正确率、班级排名等信息，并将实验数据与学生的实验报告有机结合，形成完成的实验报告。此功能相较于传统的实验报告，增加了学生的学习数据统计功能，可大大的减轻教师的负担，同时为教师了解班级整体的学习状况提供的有力的支持。

2.5 平台管理

2.5.1 用户管理

为满足教师方便的管理班级学院，平台提供用户组织管理功能。其中用户管理显示平台用户的信息列表，管理端可对平台用户信息进行编辑与删除，根据信息进行用户模糊筛选，便于管理平台用户；角色管理显示平台现有角色，用户可编辑新的角色并赋予角色权限；组织结构管理显示平台现有的组织机构，管理端可以也可根据层级分步添加组织、学院、系别、专业、班级，对同级别下的机构进行排序。

2.5.2 资源管理

用户可以在此查看版本信息、用户数量、实验数量，资源监控及用户虚拟机监控。同时后台资源监控中心可查看平台的用户数量、实验数量、职业路径数量、项目路径数量、算法集数量、数据集数量、用户分布、活跃用户等数据；实时的CPU、内存、硬盘、实例的使用情况和该时刻学生实验进行的状态；可对虚拟机进行监控所处状态。该功能的实现可便捷精准的反应出学生的问题所在，可对实验平台进行实时状态的查看，又同时提高了老师的教学质量和效率。

第三章 教学课程库

3.1 实验体系

大数据实验体系按照大数据基础、大数据采集、大数据存储、数据处理、数据分析、数据挖掘、数据可视化、深度学习、机器学习和大数据案例组成。

3.1.1 大数据基础

3.1.1.1 Linux基础

Linux系统是开源软件，其可靠性得到肯定，是当今举世瞩目、发展最快、应用最广的主流软件之一。在服务器平台、嵌入式系统和云计算系统所运行的操作系统中，Linux占很大比重。大数据主流框架Hadoop、Spark都架设在Linux系统上，所以现在学习和应用Linux成为众多用户和学生的首选。

Linux基础32 Linux基础32 Linux系统概述3 Linux简介

Linux应用领域

Linux优势

字符操作环境2 使用Shell

字符编辑器VI

Linux文件系统3 Linux文件

ext3文件系统

安装和卸载文件系统

进程管理2 Linux进程概述

进程控制命令

常用命令介绍5 目录操作

文件操作

磁盘操作

文本编辑

帮助命令

用户管理4 Linux用户账户概述

管理用户和群组

命令行配置

用户管理器配置

系统监控与备份4 显示系统进程

查看硬件信息

查看日志文件

数据备份与恢复

软件包管理4 RPM概述

RPM包的命令介绍

查看软件包（检查软件包签名）

软件包管理工具

管理网络服务4 守护进程服务

配置FTP服务

配置邮件服务器

Apache服务器

3.1.1.2 编程基础

编程基础包含Python基础、R语言基础、Scala基础和Java基础四大模块共计81个实验项目。针对每一个所讲解的知识点都进行了深入分析，并使用生动形象的情境化举例，将原本复杂的、难于理解的知识点和问题进行简化，针对每个知识点，精心设计了相应的问题，让学习者不但能掌握和理解这些知识点，并且还可以清楚地知道在实际工作中如何去运用。

编程基础81 Python基础38 Python基础38 Python介绍

Python开发环境搭建

Python基本数据类型

Python变量

Python基本输入输出

Python模块

Python运算符与表达式

Python选择与循环结构

Python序列操作

Python列表常用方法

Python元组

Python列表解析式与生成器表达式

Python字符编码

Python字符串基本操作

Python字符串格式化

Python字符串方法

Python正则表达式与re模块

Python字典创建与使用

Python字典方法

Python集合创建与使用

Python集合常用运算

Python文件基本概念

Python打开与关闭文件

Python文件对象基本方法

Python数据序列化与反序列化

Python文件与文件夹基本操作

Python函数的定义和调用

Python函数参数

Python变量作用域

Python函数返回值

Python函数嵌套定义、闭包、装饰器

Python类的定义和使用

Python构造方法与析构方法

Python成员访问权限

Python继承

Python异常概念与常见表现形式

Python常见异常处理结构

Python的raise语句

R语言基础14 R语言基础14 R语言开发环境搭建

R语言对象与属性

R语言向量

R语言矩阵和数组

R语言列表

R语言数据框

R语言构建子集

lapply函数

apply函数

mapply函数

split函数

tapply函数

R语言重复值处理

R语言排序

Scala基础16 Scala基础16 Scala开发环境搭建

Scala控制结构和函数

Scala数组相关操作

Scala映射与元组

Scala类与对象

Scala包管理

Scala继承

Scala文件和正则表达式

Scala特质

Scala运算符(原本为scala操作符)

Scala高阶函数

Scala集合

Scala模式匹配和样例类

Scala类型参数

Scala高级类型

Scala隐式转换和隐式参数

Java基础15 Java基础15 Java开发环境搭建

Java的类和对象

Java标识符、关键字与运算符

Java基本数据类型

Java流程控制

Java继承与多态

Java抽象类与接口

Java内部类

Java异常处理

Java集合类

Java基础类库

Java泛型

Java的输入与输出

Java数据库操作

3.1.1.3 数学基础

数字在数学体系中稳固的位置，而大数据技术也和数学紧紧地结合在一起。数学基础共计信息论、线性代数、概率论与数理统计、数值计算和最优化方法五大模块30个实验项目。大数据技术本身是一门交叉性学科，统计方法为核心，所以学习数学基础就显得尤为重要。

数学基础30 信息论6 信息论6 熵

联合熵

条件熵

相对熵

互信息

最大熵模型

线性代数7 线性代数7 标量

向量

张量

范数

矩阵

特征分解

几种常用距离计算

概率论与数理统计8 概率论与数理统计8 随机变量

概率分布

贝叶斯公式

期望

方差

协方差

常见分布函数

最大似然估计

数值计算3 数值计算3 数值计算概述

上溢和下溢

计算复杂性与NP问题

最优化方法6 最优化方法6 最优化理论概述

最优化问题的数学描述

凸集与凸集分离方法

梯度下降算法

启发式优化方法

牛顿法和拟牛顿法

3.1.1.4 数据库基础

数据库已是当今信息社会须臾不可脱离的重要工具，数据库的教学也就成为计算机科学与技术专业的一门必修课程。在大数据技术中，数据库种类繁多，包括了Exce、MySql、Oracle等等，学习数据库基础是为大数据的存储做准备。

数据库基础54 excel6 Excle6 Excel函数与公式

Excel数据统计与汇总

VBA程序基础

VBA数据类型

VBA流程控制

VBA综合应用

mysql11 Mysql11 MySQL简介与安装

MySQL创建连接

MySQL操作数据库

MySQL操作数据表

MySQL操作数据

MySQL条件限定与正则表达式

MySQL表的连接

MySQL排序、分组与过滤

MySQL结果合并

MySQL函数

MySQL导入与导出

oracle8 Oracle8 Oracle安装与卸载

Oracle数据类型（文本）

表的创建与管理

简单查询

单行函数

分组统计查询

多表查询

Sybase PowerDesigner设计工具

mongodb8 MongoDB8 MongoDB简介与安装

MongoDB创建连接

MongoDB操作数据库

MongoDB操作集合

MongoDB操作文档

MongoDB条件操作符与正则表达式

MongoDB之Limit与Skip方法

MongoDB排序与聚合

redis+memcache11 Redis10 Redis简介、安装与配置

Redis命令（包括Redis键）

Redis数据类型

Redis基数统计

Redis服务器与连接

memcached简介与安装

memcached连接

memcached存储

memcached查找

memcached统计

SQLite（10） SQLite10 SQLite简介与安装

SQLite操作数据库

SQLite操作数据表

SQLite操作数据

SQLite条件限定与通配符

SQLite表的连接

SQLite排序、分组与过滤

SQLite结果合并

SQLite之Explain细节描述

SQLite函数

3.1.2 大数据采集

3.1.2.1 Python爬虫

Python爬虫是一段自动抓取互联网信息的程序，从互联网上抓取对于我们有价值的信息，可使用Python爬虫对数据进行采集。

Python基础知识41 Python基础简介4 Python语言概述

为何学习Python语言

Python主要应用领域

Python开发环境搭建

初识Python7 Python基本数据类型

Python变量

Python基本输入输出

Python模块

Python运算符与表达式

Python选择与循环结构

Python猜数字游戏

列表与元组4 Python序列操作

Python列表常用方法

Python元组

Python列表解析式与生成器表达式

字符串与正则表达式5 Python字符编码

Python字符串基本操作

Python字符串格式化

Python字符串方法

Python正则表达式与re模块

字典2 Python字典创建与使用

Python字典方法

集合2 Python集合创建与使用

Python集合常用运算

文件操作5 Python文件基本概念

Python打开与关闭文件

Python文件对象基本方法

Python数据序列化与反序列化

Python文件与文件夹基本操作

函数5 Python函数的定义和调用

Python函数参数

Python变量作用域

Python函数返回值

Python函数嵌套定义、闭包、装饰器

面向对象4 Python类的定义和使用

Python构造方法与析构方法

Python成员访问权限

Python继承

异常处理结构3 Python异常概念与常见表现形式

Python常见异常处理结构

Python的raise语句

Python 爬虫19 爬虫初识3 爬虫简介

爬虫应用场景

爬虫基本工作原理

网络请求基础6 TCP/IP协议

HTTP请求格式

HTTP常用请求头

响应状态码

浏览器发送HTTP请求的过程

cookie和session

使用Python发送网络请求5 Requests模块介绍

使用Requests发送post请求

使用Requests发送get请求

使用Requests发送带Header请求

使用Requests发送带参数请求

Python爬虫实战5 XPATH介绍及节点选择

LXML介绍及使用

对抗反爬虫措施

网站数据爬取实验

IP代理数据爬取

3.1.2.2 Flume数据抽取

Flume 是一个分布式，可靠且可用的系统，用于有效地从许多不同的源收集、聚合和移动大量日志数据到一个集中式的数据存储区。Flume是在数据采集中有比不可少的一个环节。

Flume7 Flume简介

Flume架构与工作原理

Flume安装与配置

案例：Avro

案例：Spool

案例：Exec

案例：Syslogtcp

3.1.2.3 Kafka+zookeeper

Kafka它提供了类似于JMS的特性，但是在设计实现上完全不同，此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进行归类，发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群有多个kafka实例组成，每个实例(server)成为broker。无论是kafka集群，还是producer和consumer都依赖于zookeeper来保证系统可用性集群保存一些meta信息。Kakfa也是数据采集的中一个重要环节。

ZooKeeper7 ZooKeeper7 Zookeeper简介

Zookeeper工作原理

Zookeeper安装与配置

Zookeeper基本操作实例

集群管理

共享锁

队列管理

Kafka4 Kafka简介

Kafka工作原理

Kafka安装与配置

生产者消费者实例

Kafka案例

3.1.2.4 ELK

ELK为数据的收集、传输、存储、分析和警告提供了一整套解决方案，并且都是开源软件，之间互相配合使用，完美衔接，高效的满足了很多场合的应用。目前主流的一种日志系统。

ELK10 ELK10 ELK简介

安装与配置Elasticsearch

安装与配置Logstash

安装与配置Kibana

处理JSON格式Nginx日志

处理Nginx日志

处理Apache日志

处理Twitterdingyue

纽约交通事故数据分析

美国联邦选举委员竞选捐款数据分析

3.1.3 大数据存储

3.1.3.1 HDFS存储

HDFS 主要是为了应对海量数据的存储，由于数据量非常大，因此一台服务器是解决不能够应付的，需要一个集群来存储这些数据。在这个集群中，存在一个 NameNode 节点，该节点用于管理元数据，即用户上传的文件位于哪个服务器上，都多少个副本等信息。此外，还有多个 DataNode 节点，这些节点就是文件存储位置。

Hadoop基础4 Hadoop初识简介4 Hadoop介绍

Hadoop体系架构

Hadoop软件安装及配置

单节点伪分布式安装

分布式存储HDFS5 分布式存储HDFS5 HDFS安装

HDFS的相关概念

HDFS的文件存储机制

HDFS的数据存储管理

HDFS的数据的读写过程

3.1.3.2 HBase存储

HBase是一种NoSQL数据库，这意味着它不像传统的RDBMS数据库那样支持SQL作为查询语言。HBase是一种分布式存储的数据库，技术上来讲，它更像是分布式存储而不是分布式数据库，它缺少很多RDBMS系统的特性，比如列类型，辅助索引，触发器，和高级查询语言等待。

HBase6 HBase6 HBase简介

HBase的shell应用v2.0

使用Hive操作HBase

HBase的JavaAPI应用

HBase学生选课案例

HBase微博案例

3.1.4 数据处理

3.1.4.1 Pandas数据处理

Pandas是基于NumPy的一种工具，该工具是为了解决数据分析任务而创建的。Pandas纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。Pandas提供了大量能使我们快速便捷地处理数据的函数和方法。

使用pandas进行数据处理13 基础概念4 Series和DataFrame简介

DataFrame常用属性方法

数据访问

文件读取（原读写文件）

数据清洗3 pandas缺失值处理

pandas重复值处理

pandas异常值处理

数据集成2 使用键参数的DataFrame合并

轴向连接

数据变换4 利用函数或映射进行数据转换

替换值

重命名轴索引

离散化和面元

3.1.4.2 R语言数据处理

R语言在处理数据的过程中，经常需要根据需求从完整的实验设计和数据中筛选、整理出可以直接使用的部分，这就涉及到数据整理和变换工作。常用的数据整理和变换主要包括以下几类：选取特定分析变量、筛选满足条件的数据、按照某个变量排序、对数据进行分组和汇总。

R语言数据处理17 R语言数据处理12 R语言数据导入

R语言数据导出

R语言重复值处理

R语言缺失值处理

R语言空格值处理和字段抽取

R语言记录抽取和随机抽样

R语言记录合并

R语言字段匹配

R语言数据标准化

数据分组

日期格式处理与日期抽取

虚拟变量

3.1.4.3 SAS数据处理

SAS数据处理系统主要完成以数据为中心的四大任务：数据访问、数据管理、数据呈现、数据分析四个步骤，一下实验可以满足这个四个大任务的使用。

SAS数据分析（34） SAS基础简介4 SAS基础简介4 SAS概述

SAS的特点及模块组成

SAS软件基本介绍-SAS_Studio安装过程

SAS数据导入导出4 SAS数据导入导出4 读数据和生成数据集

写数据

导入数据

导出数据

条件判断和循环语句3 条件判断和循环语句3 SAS语句的基本组成

条件判断语句

循环语句

SAS数据分析综合应用5 SAS数据分析综合应用5 建立营销响应模型

预测股票价格

建立信用评分模型

预测门店销售额

人口教育情况分析

3.1.4.4 Spark数据处理

Spark是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。所以使用Spark进行数据分析比Hadoop的MR快很多。

Spark数据处理（82） Spark基础19 Spark简介5 Spark介绍

Spark体系架构

Spark安装与配置

Spark运行模式

Spark生态系统BDAS

Spark核心概念4 RDD弹性分布式数据集

RDD的依赖关系

RDD共享变量

Spark优化

RDD编程10 创建RDD

转化操作

行动操作

惰性求值

传递参数

持久化

Pair_RDD的创建

Pair_RDD的转化操作

Pair_RDD的行动操作

数据分区

数据读取与存储13 文件系统2 Amazon_S3的读取与存储

HDFS中的读取与存储

数据库4 Cassandra

Elasticsearch

HBase

Java_JDBC连接

文件格式7 文本文件的读取与存储

JSON文件的读取与存储

CSV与TSV文件的读取与存储

序列文件的读取与存储

对象文件的读取与存储

Hadoop的输入输出读写

压缩文件的读取与存储

Spark程序结构4 Spark程序结构4 Spark架构设计

Spark算子分类

Spark核心组件

Spark程序执行基本流程

Spark流式计算6 Spark流式计算6 Spark_Streaming介绍

Spark_Streaming架构

Spark_Streaming部署

Spark_Streaming编程

Spark_Streaming性能调优

Flume、Kafka与Spark Streamng结合使用

Spark SQL9 Spark SQL9 Spark_SQL介绍

Spark_SQL架构

DataFrame

Spark_SQL的Shell

Spark_SQL的UDF使用

JDBC操作MySQL

Spark_SQL性能调优

网站日志分析实例

Spark与机器学习13 Spark Mllib13 特征提取和转化

降维操作

协同过滤算法原理及使用

FP-growth算法及使用

Spark机器学习的优势和潜力

Spark_MLlib的数据类型

线性回归算法原理与使用

逻辑回归算法的原理及使用

支持向量机算法原理与使用

朴素贝叶斯算法原理与使用

决策树算法原理与使用

随机森林算法原理与使用

K-Means算法原理与使用

GraphX7 GraphX7 GraphX简介

Graphx常用数据结构

GraphX图算法

GraphX属性图

GraphX图操作符

GraphX-Pregel-API

PageRank算法实战

案例分析11 案例分析11 网络日志分析

电商广告案例

实时路况案例

黑名单案例

性别预测案例

年龄预测案例

垃圾邮件案例

图片分类案例

电影推荐案例

推荐系统案例

金融数据分析案例

3.1.4.5 Impala与Storm

Impala它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据。已有的Hive系统虽然也提供了SQL语义，但由于Hive底层执行使用的是MapReduce引擎，仍然是一个批处理过程，难以满足查询的交互性。相比之下，Impala的最大特点也是最大卖点就是它的快速。

Impala3 Impala3 impala简介

数据库语句

impala table操作

Storm5 Storm5 Storm简介

Storm架构与运行原理

Storm安装与配置

Storm入门实例

Storm日志分析实战

3.1.4.6 MapReduce

MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）“和"Reduce（归约）”，是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。

MapReduce编程模型7 MapReduce编程模型7 MapReduce简介

MapReduce架构

MapReduce接口类

MapReduce代码编程

MapReduce经典案例—WordCount

分布式资源调度系统YARN的安装

MapReduce和YARN命令

3.1.5 数据分析

3.1.5.1 Hive数据分析

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

数据仓库Hive6 Hadoop数据仓库Hive6 Hive简介

Hive-DDL

Hive-DML

Hive UDFV

Hive数据清洗项目

Hive统计UV项目

3.1.5.2 Python数据分析

Python数据处理需要完成数据获取、数据清洗、数据探索、数据呈现、数据规模化和自动化的过程。主要内容包括：Python基础知识，如何从CSV、Excel、XML、JSON和PDF文件中提取数据，如何获取与存储数据，各种数据清洗与分析技术，数据可视化方法，如何从网站和API中提取数据等技能。

Python相关算法23 分类与预测6 决策树

K近邻分类算法

支持向量机

Python随机森林

Logistic回归分析

人工智能网络

常用聚类分析算法3 K-Means聚类算法

系统聚类算法

DBSCAN聚类算法

关联规则算法2 Apriori算法简介

Apriori算法应用

协同过滤算法2 基于用户的协同过滤算法

基于物品的协同过滤算法

时间序列数据分析4 时间序列预处理

平稳时间序列分析

非平稳时间序列分析

Python主要时序模式算法

离群点检测方法4 离群点检测概述

基于密度的离群点检测方法

基于聚类的离群点检测方法

基于距离的离群点检测方法

数据降维2 数据降维概述

常用降维方法-1.机器学习简介

常用降维方法-2.机器学习数学预备知识

常用降维方法-3.常用降维方法的目的

常用降维方法-4.常用降维方法解读

模型调优与实战8 模型评估与调优3 模型评估和调优的意义

评估指标

模型调优建议与注意事项

数据分析与挖掘实战5 电子商务的智能推荐

财政收入分析

电商产品评价分析

电力窃漏识别分析

电器使用情况分析

3.1.5.3 Pig数据分析

Pig是一种数据流语言和运行环境，用于检索非常大的数据集。为大型数据集的处理提供了一个更高层次的抽象。Pig包括两部分：一是用于描述数据流的语言，称为Pig Latin；二是用于运行Pig Latin程序的执行环境。

Pig语言7 Pig简介

Pig的安装与运行

命令行交互工具Grunt

Pig数据模型

Pig Latin基础知识

Pig Latin关系操作

Pig Latin高级应用

3.1.5.4 R语言数据分析

R语言提供数据分析功能，主要课程包括了R语言的基础进阶部分、R语言数据分析部分以及R语言案例。

R语言基础18 R语言简介3 R语言概述与应用领域

为何学习R语言

R语言开发环境搭建

R语言数据结构6 R语言数据类型

Array数组和factor因子

List列表和DataFrame数据框

R语言程序结构

R语言向量化计算

对象改值3 就地改值

逻辑值取子集

缺失信息

R的记号体系2 值的选取

发牌实例和洗牌实例

S类系统4 S类系统简介与属性

泛型函数

S类系统方法

类、S3与调试

R语言数据分析11 R语言数据分析11 基本统计

对比分析

分组分析

分布分析

交叉分析

结构分析

相关分析

简单线性回归分析

多重线性回归分析

RFM分析

矩阵分析

R语言数据分析综合应用10 R语言数据分析综合应用10 建立销售响应模型

预测销售额

水质评估

财政收入分析预测模型

骑车数据可视化分析

房价指数的分析与预测

电商评论情感分析

航空公司价值分析

游戏玩家付费行为预测

用户留存分析实战

3.1.6 数据挖掘

3.1.6.1 SAS和R数据挖掘

SAS和R语言可以在基础的教学和分析上进行数据的挖掘，主要课程如下。

SAS数据挖掘6 SAS数据挖掘6 主成分分析

因子分析

聚类分析

判别分析

相关分析

生存分析

R语言数据挖掘11 R语言数据挖掘11 数据挖掘简介

数据挖掘常见问题

数据挖掘流程

分类预测基本流程

R语言数据预处理（一）

R语言数据预处理（二）-转换

R语言决策树分类方法

R语言高级分类方法

R语言聚类分析与关联分析

智能推荐

时间序列

离群点检测

R语言网页数据抓取3 R语言网页数据抓取3 HTML数据抓取

JSON数据抓取

使用Google分析网页结构

3.1.6.2 Mahout

Ｍahout是Apache Software Foundation(ASF)旗下的一个开源项目。提供一些可扩展的机器学习领域经典算法的实现，旨在帮助开发人员更加方便快捷地创建智能应用程序。Mahout包含许多实现，包括聚类、分类、推荐过滤、频繁子项挖掘。此外，通过使用Apache Hadoop库。 Mahout可以有效地扩展到云中。

Mahout5 Mahout5 Mahout简介

推荐算法

聚类算法

分类算法

使用Mahout构建职位推荐案例

3.1.7 数据可视化

3.1.7.1 Matplotlib可视化

Matplotlib可能是 Python 2D-绘图领域使用最广泛的套件。它能让使用者很轻松地将数据图形化，并且提供多样化的输出格式。下面的课程将会探索 matplotlib 的常见用法。

可视化技术与matplotlib6 可视化与Matplotlib6 绘制折线图

绘制散点图

绘制饼状图

绘制柱状图

绘图区域分割

结合pandas进行数据可视化

3.1.7.2 SAS和R可视化

R语言使用dplyr、tidyr、reshape2 等包的数据操作方法； base、lattice 和ggplot2包的图形语法进行可视化展示。SAS可视化文本分析综合运用自然语言处理、机器学习和语言规则，从非结构化数据中获取价值。该课程可解决各行业面临的业务难题，包括：管理和解释记录、评估风险和欺诈、以及通过客户反馈及早发现问题。

SAS数据可视化7 SAS数据可视化7 图形绘制

条形图

饼图

散点图

箱型图

R语言数可视化8 R语言数据可视化8 R语言饼图

R语言散点图

R语言折线图

R语言柱形图

R语言直方图

R语言箱线图

R语言树形图

R语言地图和热力图

3.1.7.3 可视化工具

可视化除了编程语言之外还可已使用Echart、NodeBox、Inkscape等这样的工具进行可视化处理。

可视化工具6 可视化工具：python

可视化工具：Echart

可视化工具：NodeBox

可视化工具：Inkscape

可视化工具：Open Layers

可视化工具：Leaflet

3.1.8 大数据案例

大数据正在改变我们的世界。互联网发展以及移动通信市场和相关技术的迅速扩张也已创建大量的数据包括结构化数据和非结构化数据。数据可用性和数据应用对商业和更广泛的社会领域带来了巨大影响。有效使用大数据有助于公司更精准地对重要信息进行分析很终提高运营效率、减少成本、降低风险、加快创新、增加收入。本平台详细介绍了大数据策略的规划和执行配以不同行业里不计其数的现实案例加以阐述。

Hadoop项目案例8 Hadoop项目案例8 QQ好友推荐算法

PageRank算法

Tf-Idf算法

数据关联案例

ETL案例

PV UV统计案例

用户流失和新增案例

Hadoop总结

大数据案例（34） 大数据案例34 数据分析生命周期概述6 数据分析概述

发现

数据准备

模型规划

模型建立

沟通与实施

数据采集2 数据采集的原理

数据采集的实验步骤

数据清洗2 数据清洗的原理

数据清洗的实验步骤

可视化工具6 可视化工具：python

可视化工具：Echart

可视化工具：NodeBox

可视化工具：Inkscape

可视化工具：Open Layers

可视化工具：Leaflet

数据建模2 数据建模的原理

数据分析方法与过程

模型评估与优化2 模型-数据与实验环境介绍

模型-数据分析方法与过程

出租车数据分析2 出租车-数据与实验环境介绍

出租车-数据分析方法与过程

音乐分类2 音乐-数据与实验环境介绍

音乐-数据分析方法与过程

知识图谱制作2 知识图谱-数据与实验环境介绍

知识图谱-数据分析方法与过程

电影评论情感分析2 电影-数据与实验环境介绍

电影-数据分析方法与过程

金融数据分析2 金融-数据与实验环境介绍

金融-数据分析方法与过程

大型商场销售额预测2 销售-数据与实验环境介绍

销售-数据分析方法与过程

NBA篮球比赛结果分析预测2 篮球-数据与实验环境介绍

篮球-数据分析方法与过程

3.2 教学资源

为满足教学需求，针对红亚大数据教学平台重点实验提供配套的PPT讲义及视频讲解，从实验知识介绍、实验目的、实验原理、实验拓展、实验过程等内容展开详细的介绍。教材建设

红亚科技与全国高校大数据专家、出版社共同出版了一套国家“高等教育十三五规划”大数据教材，包括Hadoop、Spark、R语言、SAS、大数据综合案例技术应用实践教材。本套教材与大数据实训教学平台相辅相成，形成完整的教学资源，覆盖理论、实训、实践、实战类型，可有效的解决大数据教学资源不够完善的问题。

第四章 数据安全科研保障箱

数据安全科研实验箱是在建立在学生具备完善的数据安全基础知识的层面上的，在学生掌握了一定的数据安全攻击防御学科知识的同时，亦可进行学科性的知识拓展研究；在一定程度上可延伸学生的学习和知识掌握能力；同时更加全面的提高了学生的综合知识能力。

数据安全科研实验实验箱集成了四种处理器，包括A8处理器、M4处理器、Z32处理器、FPGA编程板，可通过编程实现如下科研项目：SM2密码算法与实现、12684液晶屏串行显示实验、SLE4428逻辑加密卡实验、SM3密码杂凑算法程序设计。