台大机器学习基石学习笔记

都是反推法

台湾大学林轩田机器学习基石课程学习笔记2 -- Learning to Answer Yes/No

问题一

PLA感知机的法向量更新的迭代过程

证明

针对能否停下来？

能否确保f ~g？

问题二

修改后的PLA称为Packet Algorithm。它的算法流程与PLA基本类似，首先初始化权重w0，计算出在这条初始化的直线中，分类错误点的个数。然后对错误点进行修正，更新w，得到一条新的直线，在计算其对应的分类错误的点的个数，并与之前错误点个数比较，取个数较小的直线作为我们当前选择的分类直线。之后，再经过n次迭代，不断比较当前分类错误点个数与之前最少的错误点个数比较，选择最小的值保存。直到迭代次数(迭代次数如何确定？)完成后，选取个数最少的直线对应的w，即为我们最终想要得到的权重值。

答：仍然按照线性可分条件下的迭代次数进行迭代并将每次迭代后产生的分类条件下的错分点个数记录下来最后取最小值的那条直线。

台湾大学林轩田机器学习基石课程学习笔记3 --Types of Learning（上一讲遗留问题：如何判断数据集是否可分）

问题三

机器学习的分类中：online的使用？

将其运用在滑坡位移预测中实时更新来发文章

台湾大学林轩田机器学习基石课程学习笔记4 --Feasibility of Learning（特征选取不同选择的分类方程就不同没有固定的好坏（具体问题具体分析））

问题四

h如果是固定的，N很大的时候，Ein(h)≈Eout(h)，但是并不意味着g≈f。因为h是固定的，不能保证Ein(h)足够小，即使Ein(h)≈Eout(h)，也可能使Eout(h)偏大。所以，一般会通过演算法A，选择最好的h，使Ein(h)足够小，从而保证Eout(h)很小。固定的h，使用新数据进行测试，验证其错误率是多少。

理解：虽然E(IN) = E(OUT) 近似相等，但不能说明此时在H下所得到的wt是最好的也就是不是使E(IN)最小的。

A 算法                                         H模型 st E(IN)最小       Eout(h)很小

即模型的选取很重要

问题五

可见这个概率是很大的，但是能否说明5次正面朝上的这个硬币具有代表性呢？答案是否定的！并不能说明该硬币单次正面朝上的概率很大，其实都是0.5。一样的道理，抽到全是绿色求的时候也不能一定说明那个罐子就全是绿色球。当罐子数目很多或者抛硬币的人数很多的时候，可能引发Bad Sample，Bad Sample就是Ein和Eout差别很大，即选择过多带来的负面影响，选择过多会恶化不好的情形。

 

根据许多次抽样的到的不同的数据集D，Hoeffding’s inequality保证了大多数的D都是比较好的情形（即对于某个h，保证Ein≈Eout），但是也有可能出现Bad Data，即Ein和Eout差别很大的数据集D，这是小概率事件。

 

证明：m有限

 

答：理解hm就代表PLA中的无数条直线。抛硬币硬币是数据，抛的人就是h。

因为数据量很大（一个人要抛很多次硬币），或者H很多（好多人一起抛硬币）。说白了就是基数很大随便拿出其中五个数据是好的情况，不能说明硬币（h）是好的。（就是这五个数组成的数据集有问题）

台湾大学林轩田机器学习基石课程学习笔记5 -- Training versus Testing（hm无限个是否可存在h使误判概率满足一定范围）

问题六

 

上节课介绍的机器学习可行的一个条件是hypothesis set的个数M是有限的，那M跟上面这两个核心问题有什么联系呢？

我们先来看一下，当M很小的时候，由上节课介绍的霍夫丁不等式，得到Ein(g)≈Eout(g)，即能保证第一个核心问题成立。但M很小时，演算法A可以选择的hypothesis有限，不一定能找到使Ein(g)足够小的hypothesis，即不能保证第二个核心问题成立。当M很大的时候，同样由霍夫丁不等式，Ein(g)与Eout(g)的差距可能比较大，第一个核心问题可能不成立。而M很大，使的演算法A的可以选择的hypothesis就很多，很有可能找到一个hypothesis，使Ein(g)足够小，第二个核心问题可能成立。

 

答：以支持向量机为例当数据集很小时不能保证最好的平面的支持向量在数据集中，则无法找到最好的分类平面既h选择有限不一定能找到最好的

问题七

既保证其有一定的泛化能力

问题八

答：N个点构成的集合指的是n个点的排列方式。将其完全二分后所有的h（平面或直线）的个数所对应的集合为dichotomy而这个集合的最大值就是mH（n）

加州理工学院公开课：雷蒙保罗MAPA泛化理论（第六课）

没看懂

结论:

该课程主要从理论方面证明了只要存在一个断点，则假设集的数量便受多项式的限制，我们可以证明，当假设集的数量是多项式的时候，可以用 m（H） 代替 M，从而可以得出机器学习的可行性。