机器学习的基本概念小结（机器学习基石学习小结一）

                     机器学习小结

学完林轩田机器学习基石写的一些小结，计划分为三大部分，分三篇来写，基本概念，基本算法，一些细节。（部分图片来源机器学习基石课件）

                                                                                                                                       

                                                                                                                                                                                                                                                                                                基本概念

一、什么是机器学习

       简单来说，机器学习就是使用数据来预测目标函数；

       粗略的定义， 某种最优化算法利用资料（数据）的特征从假设集中选出一个最接近目标函数（也就是误差最小）的假设作为机器学习的结果，这个结果就可以近似表示目标函数。（A takes D and H to get g ，看流程图）

二、机器学习的核心问题

     

       Ein（g）表示样本误差，Eout（g）表示整体误差

       要使得机器学习的结果g近似于目标函数f，那么就要使得g-f≈0，即Eout(g)≈0。因为我们无法知道目标函数f，所以只能通过Ein(g)≈0，Ein(g)≈Eout(g)来保证整体误差近似等于0，这样我们的到了机器学习的两个中心问题。

      a、 对于第一个中心问题（Ein(g)≈Eout(g)）（理论依据Hoeffding's Inequality）：

         

          g=A(D)∈H

      只要当N足够大，实际中就是当N比dvc的10倍还大时，可以保证样本误差约等于整体误差，即当我们利用某些算法实现Ein(g)≈0时，也可以使得Eout(g)≈0

      b、对于第二个中心问题（Ein(g)≈0）：

       算法A能从假设集H中选取一个足够好的g，即算法A要合适，H要足够好。

      

      

  

     1.好的假设集（H）（不是无限多种可能dvc≠∞，随着N增大，增长函数增长的不是很快，增长函数为多项式就很好）

     2.好的资料（D）（N>>dvc）

     3.好的算法 （A）   （能够选到好的H作为g，算法复杂度不是很高）

     （a和b保证能偶得到Ein(g)≈Eout(g)，c保证能够得到Ein(g)≈0）

 

VC:

error measure：

    

基本算法

一、Perceptron

机器学习算法的主要部分就是A和H

PLA可行的条件是D线性可分，但它比较好实现。

H:

A:

通过不断的来纠正错误的点来从假设集H中一步步寻找最接近目标函数f的g

二、Pocket Algorithm:

三、Linear Regression

H:

A:

要达到的目的就是使得Ein（w）最小

最小化问题转化为了一个求导问题，下面是求解过程

整体算法

四、Logistic Regression

H：

A:

算法推倒

逻辑回归的误差不能直接描述，使用交叉熵

然后就是求解一个最小化问题，直接求导，但是不好解，转化为问题使用梯度下降法

算法整体

五、Regression for Classification

为什么可以使用回归来做分类

A：

随机梯度下降