成都python数据分析师职业技能_合格大数据分析师应该具备的技能

课程七、建模分析师之软技能 - 数据库技术

本部分课程主要介绍MySQL数据库的安装使用及常用数据操作

1、关系型数据库介绍

2、MySQL的基本操作:

1)数据库的操作

2)数据表的操作

3)备份与恢复

3、常用的SQL语句:

1)查询语句(SELECT)

2)插入语句(INSERT)

3)更新语句(UPDATE)

4)删除语句(DELETE)

4、高级查询语句:

1)聚合函数

2)分组查询

3)联合查询

4)连接查询

5)子查询

5、高级应用:

1)视图

2)索引

6、数据可视化管理：SQLyog

课程八、建模分析师之软技能 - 实用型大数据挖掘算法、(Apriori算法、Tanagra工具、决策树)

本课程名为深入浅出数据挖掘技术。所谓“深入”，指得是从数据挖掘的原理与经典算法入手。其一是要了解算法，知道什么场景应当应用什么样的方法；其二是学

习算法的经典思想，可以将它应用到其他的实际项目之中；其三是理解算法，让数据挖掘的算法能够应用到您的项目开发之中去。所谓“浅出”，指得是将数据挖掘

算法的应用落实到实际的应用中。课程会通过三个不同的方面来讲解算法的应用：一是微软公司的SQL Server与Excel等工具实现的数据挖掘；二是著名开源算法的

数据挖掘，如Weka、KNIMA、Tanagra等开源工具；三是利用Java、C#语言两种语言做演示来完成数据挖掘算法的实现。根据实际的引用场景，数据挖掘技术通

常分为分类器、关联分析、聚类算法等三大类别。本课程主要介绍这三大算法的经典思想以及部分著名的实现形式，并结合一些商业分析工具、开源工具或编程等方式来讲解具体的应用方法。

1、数据挖掘概述与数据

2、可视化与多维数据分析(实践课)

3、分类器与决策树

4、其他分类器

5、决策树的应用(实践课)

6、关联分析

7、购物车数据分析(实践课)

8、聚类算法

9、聚类算法C#源代码实现(实践课)

课程九、建模分析师之硬技能 - SPSS Modeler数据挖掘项目实战(高阶篇)(课程9、10、11三门课任选其一)

本教程从数据挖掘生命周期、过程及管理思想开始，讲解了实际项目中各大阶段的重要任务及各自承上启下的关键作用。并用通俗易懂的语言将挖掘技术所涉及的思

想、方法、参数与统计学基础联系起来，仔细讲解了包括维度、数据、分析、数据流等在内的功能、参数的实际意义和选择、组合等应用方法。对建模技术的原理思

想及选择方法是本课程的重点与难点。此外，本课程在结合对Modeler软件应用的同时，更加强调建模思想，强调模型规划设计。针对有更高要求的朋友，还应常常训练自己对数据挖掘项目全过程的整体规划与设计，培养自己项目全局的眼光和思维方式。

一、数据挖掘项目管理基础与思想

1)课程规划

2)DM项目的生命周期与建设过程

3)CRISP-DM详解

4)DM项目实际建设与管理过程

5)DM团队组成与能力素养

二、感性认识SPSS Modeler

1)SPSS MODELER软件基础

2)MODELER节点概要

3)MODELER数据流实例解读

三、必备的统计学基础

1)简单的统计学概念

2)常用的分布函数

3)统计学基础的其它补充

四、数据准备与预处理

1)数据质量与样本管理

2)MODELER变量管理

3)MODELER分析管理

五、常用模型的数学思想与思考

1)数据挖掘知识类型

2)模型过程思想

3)回归分析思想与建模解释

4)回归分析建模解释(续)

5)决策树思想与建模解释

6)回归与决策树增补

7)神经网络思想与建模解释

8)SVM思想与建模解释

9)聚类思想与建模解释

10)关联思想与建模解释

六、项目案例解析

1)信用风险评估

2)经营辅助决策

课程十、建模分析师之硬技能 - Python基础和网络爬虫数据分析(课程9、10、11三门课任选其一)

本课程面向从未接触过Python的学员，从最基础的语法开始讲起，逐步进入到目前各种流行的应用。整个课程分为基础和实战两个单元。基础部分包括Python语法

和面向对象、函数式编程两种编程范式，基础部分会介绍Python语言中的各种特色数据结构，如何使用包和函数，帮助同学快速通过语法关。在实战部分选择了网

络爬虫、数据库开发、Web网站3种最基础的应用类型，详细介绍其思想原理，并通过案例讲解Python中的实现方案，让学员真正达到融会贯通、举一反三的效果。并应用到自己的工作环境中。

一、Python语言开发要点详解

1)模块的概念.主模块和非主模块的区别.pycharm中定义代码模版

2)安装pip 多个虚拟python环境

3)语法.变量.内置类型.运算符

4)if.for.while.else

5)数据结构.列表.元组.字典.集合

6)函数.类.异常

二、Python数据类型

7)列表和列表解析

8)filter和map

9)生成器表达是

10)元组

11)字符串

12)字符串之中文处理

13)字典

14)集合

三、函数和函数式编程

15)函数参数和变长参数列表

16)函数返回值.变量作用域.和函数__doc__属性

17)函数的嵌套定义和闭包和装饰器介绍

18)装饰器例子(日志装饰器和身份认证装饰器)

19)迭代器和生成器1

20)生成器例子

四、面向对象编程

21)认识经典类和新式类

22)公有属性和私有属性属性

23)访问属性.属性装饰器.描述符

24)描述符

25)方法.实例方法.静态方法.类方法

26)特殊方法.运算符重载

27)继承.多重继承.super

五、网页爬虫(单线程,保存到文本

28)爬虫介绍

29)工具包介绍

30)request使用演示

31)xpath介绍

32)xpath使用演示

33)新闻爬虫

34)分页栏爬虫

35)豆瓣爬虫

六、mongodb数据库

44)mongodb介绍

45)安装.命令行.mongovue演示

46)python中插入记录

47)python中查询记录

48)python中更新记录

49)python中删除记录

50)聚合操作

七、多线程和多进程

51)概述

52)多线程编程

53)多进程编程

54)综合案例-网络爬虫3

八、scrapy实战

55)scrapy介绍和安装

56)scrapy项目框架

57)scrapy框架和案例需求分析

58)实战

九、django实战

59)django架构介绍

60)阶段1.安装.创建项目.创建应用.初始配置

61)阶段1.配置URL映射.视图函数

62)阶段2.定义ORM并注册到后台管理模块

63)阶段3.模版的继承.表单的使用.数据的展示

64)阶段4.多应用URL配置.数据的DML操作

课程十一、建模分析师之硬技能 - 零基础数据分析与挖掘R语言实战课程(课程9、10、11三门课任选其一)

本课程面向从未接触过数据分析的学员，从最基础的R语法开始讲起，逐步进入到目前各行业流行的各种分析模型。整个课程分为基础和实战两个单元。 基础部分包

括R语法和统计思维两个主题，R语法单元会介绍R语言中的各种特色数据结构，以及如何从外部抓去数据，如何使用包和函数，帮助同学快速通过语法关。统计思维

单元会指导如何用统计学的思想快速的发现数据特点或者模式，并利用R强大的绘图能力做可视化展现。在实战部分选择了回归、聚类、数据降维、关联规则、决策

树这5中最基础的数据分析模型，详细介绍其思想原理，并通过案例讲解R中的实现方案，尤其是详细的介绍了对各种参数和输出结果的解读，让学员真正达到融会贯通、举一反三的效果。并应用到自己的工作环境中。

一、R语法详解：

1)R的核心数据结构之向量、因子的区别和使用技巧

2)R的核心数据结构之矩阵、数据框、数组、列表的区别和使用技巧

3)R的控制结构(包括分支结构和循环结构)、函数和包、以及向量化计算

二、数据组织和整理：

1)数据导入，从多种数据源导入数据

2)数据预处理之缺失值的处理

3)数据预处理之数据转换，数据筛选?

三、建立数据分析的统计思维和可视化探索：

1)单变量数据特点的描述方法

2)多变量数据特点的描述方法

3)借助分组发现数据中的模式

4)数据可视化建立对数据的感性认识

四、用回归预测未来：

1)线性回归的思想，代码、结果的详细解读；

2)多项式回归、多元线性回归

五、聚类方法：

1)层次聚类和k-means聚类方法

六、数据降维——主成分分析和因子分析：

1)维度过多会导致哪些问题

2)用逐步回归法筛除无用变量

3)用主成分分析法解决多重共线性问题

4)用因子分析法获得有业务意义的变量

七、关联规则：

1)用关联规则做购物车分析

八、决策树：

1)决策树算法ID.3、C4.5、CART算法区别和演示

2)分类效果的评价方式

课程十二、建模分析师之扩展篇(机器学习) - 零基础实战机器学习入门篇(Python语言、算法、Numpy库、MatplotLib)

机器学习作为人工智能的一部分，已经应用于很多领域，远超过人们的想象，垃圾邮件的过滤，在线广告的推荐系统，还有目前发展飞快的物体识别、人脸识别和语

音识别的发展，都是机器学习的应用的成果。机器学习在改善商业决策、提高生产率、检测疾病、预测天气等方面都有非常大的应用前景。 本课程系统的介绍了机

器学习的目的和方法。并且针对每一种常用的方法进行了详细的解析，用实例来说明具体的实现，学生可以跟着一步步完成。在面对现实的问题的时候，可以找到非常可靠的参照。本课程在最开始讲解了Python语言的基础知识，以保证后面的课程中可以顺利进行。更多的Python语言的知识，需要学员自己去找更多的资料进行

学习。 本课程主要讲述了两大类机器学习的方法：有监督学习和无监督学习，其中有监督学习里面，又分为分类和预测数值型数据。这些算法都是基础的算法。这样可以降低学习的难度，容易理解机器学习思路和实现的过程。

1)机器学习的任务和方法

2)Python语言基础

3)Python语言基础2

4)分类算法介绍

5)k-临近算法

6)决策树

7)基于概率论的分类方法：朴素贝叶斯

8)Logistic回归

9)支持向量机

10)第利用AdaBoost元算法提高分类性能

11)利用回归预测数值型数据

12)树回归

13)无监督学习

14)利用K-均值聚类算法对未标注数据分组

15)使用Apriori算法进行关联分析

16)使用FP-growth算法来高效发现频分项集

17)利用PCA来简化数据

18)利用SVD简化数据

19)大数据与MapReduce

20)学习总结

课程十三、建模分析师之扩展篇(机器学习) - 实战机器学习高阶篇(基于Python机器学习、项目案例实战)

大数据时代，数据是企业值钱的财富，但海量的数据并非都是有价值的，如何挖掘出有用的数据变成商业价值，就需要机器学习算法。大数据和机器学习势必颠覆传

统行业的运营方式，必将驱动公司业务的发展。目前，越来越多的机器学习/数据挖掘算法被应用在电商、搜索、金融、游戏，医疗等领域中的分析、挖掘、推荐

上。 但懂机器学习算法的人才却少之又少，物以稀为贵，致使这个行业的工资奇高。 本课程作为深度学习系列课程的第一阶段，介绍机器学习的基本概念，原理，

以及常用算法(如决策树，支持向量机，Adaboost、EM算法等)。以Python语言为工具对每种算法进行结合实例讲解。学生学完本课程后将会理解机器学习的常

用算法原理，并会使用Python来对实际问题进行数据预处理，分类和回归分析。为开发机器学习相关应用打下必要基础，同时也为学习深度学习进阶课程打下必要基础。

一、k最近邻算法：

1)机器学习课程介绍

2)K最近邻算法的思想

3)机器学习中常用的距离指标解析

4)实战k最近邻算法

二、朴素贝叶斯分类算法

5)概率论的基本知识(基本概念、加法公式、乘法公式)

6)通过例子深入掌握概率的基本公式

7)全概率公式和贝叶斯定理

8)实战贝叶斯分类算法，智能手环推荐

三、聚类算法：

9)聚类算法概述

10)Kmeans聚类

11)Kmeans实战，图片按照色彩聚类

四、决策树算法：

12)决策树介绍

13)决策树的构造过程和各种算法

14)决策树中关键指标详解

15)实战决策树

五、线性回归和梯度下降算法：

16)线性回归的相关概念(相关、独立和协方差)

17)线性回归和最小二乘法

18)梯度下降算法

19)梯度的推导过程

20)岭回归、lasso回归和弹性网

六、逻辑回归和极大似然估计：

21)广义线性回归和逻辑回归

22)极大似然估计的思想

23)逻辑回归中的梯度推导

24)逻辑回归代码实战

七、支持向量机：

25)支持向量机原理介绍

26)线性可分的支持向量机

27)近似线性可分、非线性可分、核函数

28)坐标上升法、SMO算法、实战支持向量机

八、EM算法和GMM：

29)EM算法思想

30)EM算法的推导

31)实战EM算法，GMM

九、随机森林和Adaboost：

32)随机森林

33)Adaboost思想精髓

34)Adaboost算法流程介绍

35)实战Adaboost算法

十、机器学习思想精华和实战经验分享：

36)机器学习解决问题思想框架

37)理解方差和偏差、损失函数和过拟合

38)L1、L2正则化和常见的5种损失函数

39)如何选择模型和选择参数，交叉验证和ROC曲线

40)自适应学习率和二分法精确搜索

41)自适应学习率和基于阿米霍准则的模糊搜索

42)经验分享