台大林轩田《机器学习基石》学习笔记:重要工具二(Feature transform)

本文是作者学习台大林轩田教授《机器学习基石》课程后整理的简要笔记(未按课程回目分节),内容大部分来源于林轩田教授的课程资料,其余相关参考链接已标出。

重要工具 - Key tools

  • Regularization规则化/加条件的

    实质是,在求Ein最小值的过程中加上约束条件

    用例子引入,当前面临的情况是使用了十次曲线overfit了目标二次曲线,需要从十次stepback到二次(Q:为什么不直接用二次来fit而要多此一举从十次走回二次 A:不着眼于当前简单问题,是为以后的复杂算法做准备)

 

    H10加上约束条件“w3=w4=…=w10=0”就等于H2,这个约束条件太过严苛;稍微放松一点,条件改成“至少有8个w为零”,即“最多有3个w不为零”,然而找到这个约束条件下的最佳解是NP-hard问题;再修改约束条件,得到regularized hyphothsis set H(C)


    这样一来,求解最佳Hypothesis就变成了如下问题:

台大林轩田《机器学习基石》学习笔记:重要工具二(Feature transform)_第1张图片

 

    求无约束条件的下的最佳解,采用的梯度下降法是从山谷上面往山谷滚;现在有了约束条件,即在超球范围内尽量往山谷滚。在球边上某点时,是否已经是最佳解wREG的判断依据是,wREG是否平行于-▽Ein,即:

    引出统计上的 脊回归ridge regression

台大林轩田《机器学习基石》学习笔记:重要工具二(Feature transform)_第2张图片




你可能感兴趣的:(机器学习,学习笔记)