Machine Learning Foundations(机器学习基石) By Hsuan-Tien Lin (林轩田) week1 笔记

第一讲：机器学习问题介绍

从学习到机器学习的定义过渡

学习：从观察到的经验知识学习到技能(skill):

机器学习(Machine Learning,ML)：从数据中计算得到的知识来学习技能(skill)。机器学习中的skill指的是提高一些测量的性能(例如，预测准确度)。

机器学习可以在衣食住行育乐六个方面都可以得到应用：

衣：时尚搭配推荐

食：餐馆推荐

住：建筑楼房预算

行：自动识别交通标志

育：推测学生的学习水平

乐：用户感兴趣的电影

典型应用：银行信用卡申请，根据用户信息判断是否应该给予信用卡。

符号的定义:

假设,g属于H={hk}是假说的集合，包括好的和坏的假说，机器学习的算法就是从H中找到最好的一个作为g。

机器学习：利用数据找到最接近目标函数f的假说g；

数据挖掘：利用数据找到感兴趣的属性。两者并不相同，但相互之间有很多交叉，数据挖掘可以帮助机器学习进行一些计算；

人工智能：让机器具有人的智能行为；机器学习也可以看作是一种人工智能；

统计学：统计为止数据的规律；是机器学习的一种重要工具。

第二讲：Learningto Answer Yes/No

PerceptronLearning Algorithm (PLA)：

对样本特征向量x = (x₁, x₂, · · · , x_d)计算权重w_i，结果y应该是

得到的Perceptron：

Perceptron（假说）在R²实数空间中的表现如下图所示：

即为一个线性二元分类器，在平面中将样本分为两类。

Perceptrons的求法：

直接求得到结果比较困难，理想情况下g(x_n)= f (x_n) = y，由于H是无穷大的，所以先选取一个g₀，不断的修正其错误最终得到理想结果。

错误的判断，如果出现

则出现错误，如果y_n=+1，计算结果为-1，将其与x相加进行修正，如果y_n=-1，计算结果为1否则进行相减进行修正。直至稳定为止，最终结果成为w_PLA。

问题：

PLA在没有错误时才会停下来，是否能停下来？

假如停下来，g和f是否一样？

运行时间比较长时，一定会停。

 

PLA的保证条件：

线性可分linear separable：

线性可分份数据集D，则存在完美的w _f使y_n= sign(w^T_f  x_n).

证明PLA可以停下来：

对每个x_n，有

对wfT有，

内积越来越大，说明值越来越接近。w_t是逐渐接近的。

还可以证明w_t不会增长太快，即长度不会增加太快：

由此可知，wt的增长被限制了，最大增长是最长的x_n向量。可以证明T次修正之后的结果为：

PLA在D线性可分的情况下执行速度快，可以达到很好的效果，但是数据集不一定是线性可分的，所以需要对PLA进行改进：找到错误最小的w作为最终结果

这是一个NP hard问题，可以利用PocketAlgorithm（贪心算法）来进行求解。

类似于PLA算法，通过不断的修正来进行完善，修正w_t

若w_t+1的错误比w_t少，则用w_t+1来代替w_t

在D线性可分的情况下，PocketAlgorithm比PLA执行慢，因为要检查w_t+1是否比w_t的错误少。并且都可以得到没有错误的解。结果相同。