1. 机器学习概述

1.python基础的准备

本课程拟采用Python做为机器算法应用的实现语言，所以请确保:

1）安装好Python开发环境， PyCharm 或 Anaconda等都可以，按个人习惯喜好。

2）基本库的安装，如numpy、pandas、scipy、matplotlib

3）具备一定的Python编程技能，如果不熟悉，可选择一个教程进行学习，Python简单好上手，资源也很丰富。

菜鸟教程 Python 3 教程 http://www.runoob.com/python3/python3-tutorial.html 

廖雪峰的官方网站 Python3 https://www.liaoxuefeng.com/wiki/1016959663602400

学习视频

 

2.本周视频学习内容：https://www.bilibili.com/video/BV1Tb411H7uC?p=1

1）P4 Python基础

2）P1 机器学习概论

机器学习是一门多领域交叉学科，涉及较多的数学知识，我们不做太多理论上的要求，如果有听不懂的地方，不要放弃，看一遍就有个印象。通过观看视频，大家对课程有个总体的认识。

建议大家边看边做笔记，记录要点及所在时间点，以便有必要的时候回看。学习笔记也是作业的一部分。

 

3.作业要求：

1）贴上Python环境及pip list截图，了解一下大家的准备情况。暂不具备开发条件的请说明原因及打算。

 

 

 

 

 

 

2）贴上视频学习笔记，要求真实，不要抄袭，可以手写拍照。

P1:

什么是机器学习？(2:29)

人类的学习？(9:43)   举例各种学习的描述。

机器学习的内涵与外延(18:35)  举例机器学习能解决什么，不能解决什么。

机器学习的机器更偏向软件层面的算法模型，它可能是一个向量机做的分类器，也可能是线性回归的回归器。

机器学习(21:49)

用什么方式进行机器学习(24:20)

机器学习的一般流程(37:29)

机器学习方法(39:40)

机器如何发现新词(42:13) 凝固程度；自由程度。

python code示例1(43:00)

python code示例2(43:27)

python的简单介绍(45:36)

线性回归、rate、loss(45:48)

EM code(46:42)

EM算法(47:23)

GMM与图像(49:00)

去均值ICA分离(50:11)

3）什么是机器学习，有哪些分类？结合案例，写出你的理解。

机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。

它是人工智能的核心，是使计算机具有智能的根本途径。

基于学习策略的分类

(1) 模拟人脑的机器学习

符号学习：模拟人脑的宏现心理级学习过程，以认知心理学原理为基础，以符号数据为输入，以符号运算为方法，用推理过程在图或状态空间中搜索，学习的目标为概念或规则等。符号学习的典型方法有记忆学习、示例学习、演绎学习.类比学习、解释学习等。

神经网络学习(或连接学习)：模拟人脑的微观生理级学习过程，以脑和神经科学原理为基础，以人工神经网络为函数结构模型，以数值数据为输人，以数值运算为方法，用迭代过程在系数向量空间中搜索，学习的目标为函数。典型的连接学习有权值修正学习、拓扑结构学习。

(2) 直接采用数学方法的机器学习

主要有统计机器学习。

统计机器学习是基于对数据的初步认识以及学习目的的分析，选择合适的数学模型，拟定超参数，并输入样本数据，依据一定的策略，运用合适的学习算法对模型进行训练，最后运用训练好的模型对数据进行分析预测。

统计机器学习三个要素：

模型(model)：模型在未进行训练前，其可能的参数是多个甚至无穷的，故可能的模型也是多个甚至无穷的，这些模型构成的集合就是假设空间。

策略(strategy)：即从假设空间中挑选出参数最优的模型的准则。模型的分类或预测结果与实际情况的误差(损失函数)越小，模型就越好。那么策略就是误差最小。

算法(algorithm)：即从假设空间中挑选模型的方法(等同于求解最佳的模型参数)。机器学习的参数求解通常都会转化为最优化问题，故学习算法通常是最优化算法，例如最速梯度下降法、牛顿法以及拟牛顿法等。

 

基于学习方法的分类

(1) 归纳学习

符号归纳学习：典型的符号归纳学习有示例学习、决策树学习。

函数归纳学习(发现学习)：典型的函数归纳学习有神经网络学习、示例学习、发现学习、统计学习。

(2) 演绎学习

(3) 类比学习：典型的类比学习有案例(范例)学习。

(4) 分析学习：典型的分析学习有解释学习、宏操作学习。

 

基于学习方式的分类

(1) 监督学习(有导师学习)：输入数据中有导师信号，以概率函数、代数函数或人工神经网络为基函数模型，采用迭代计算方法，学习结果为函数。

(2) 无监督学习(无导师学习)：输入数据中无导师信号，采用聚类方法，学习结果为类别。典型的无导师学习有发现学习、聚类、竞争学习等。

(3) 强化学习(增强学习)：以环境反惯(奖/惩信号)作为输人，以统计和动态规划技术为指导的一种学习方法。

 

基于数据形式的分类

(1) 结构化学习：以结构化数据为输人，以数值计算或符号推演为方法。典型的结构化学习有神经网络学习、统计学习、决策树学习、规则学习。

(2) 非结构化学习：以非结构化数据为输人，典型的非结构化学习有类比学习案例学习、解释学习、文本挖掘、图像挖掘、Web挖掘等。

 

基于学习目标的分类

(1) 概念学习：学习的目标和结果为概念，或者说是为了获得概念的学习。典型的概念学习主要有示例学习。

(2) 规则学习：学习的目标和结果为规则，或者为了获得规则的学习。典型规则学习主要有决策树学习。

(3) 函数学习：学习的目标和结果为函数，或者说是为了获得函数的学习。典型函数学习主要有神经网络学习。

(4) 类别学习：学习的目标和结果为对象类，或者说是为了获得类别的学习。典型类别学习主要有聚类分析。

(5) 贝叶斯网络学习：学习的目标和结果是贝叶斯网络，或者说是为了获得贝叶斯网络的一种学习。其又可分为结构学习和多数学习。