机器学习 cs229学习笔记1

(all is based on the stanford open course cs229.Lecture 11.)

regularization(正规化)防止过拟合:保留所有的参数

贝叶斯学习方法:增加先验概率,常用为高斯分布N(0,λ),使算法更倾向于选择更小的参数

体现在最大似然估计上就是增加惩罚项目,||Θ||^2

////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////

在线学习:online learning ,与batch learning相差较大,具体可见coursera里面第八节的内容,讲得比较清楚

////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////

接下来讲的是如果算法不起作用,如何分析改进一个算法

首先是bias和variance的分析,这在笔记六里讲得很清楚了

cs229和coursera上不同的是是增加了叫做“fix  optimization algorithm “和”fix optimization objective”的分析

采用的方法有:

1)多做几次迭代,看效果是否有改进 fix optimization algorithm

2)尝试其他算法进行converge fix optimization algorithm

3)改变一些常量参数 fix optimization objective

4)尝试使用其他机器学习算法 fix optimization algorithm

而对于特定问题,我们必须自己去构造分析方法,andrew ng就举了一个关于自动驾驶直升飞机的例子

能正确对算法进行分析,才能避免无谓地浪费时间

////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////

接下来是针对一个系统的分析,Error Analysis

一个系统常常由多个机器学习算法组成的,所以如果系统工作不顺利,必须要分析出是哪个部分出问题了

Error Analysis就是对每一个部件,依次用基准值(ground-truth)替换每个部件的输出

看看整体系统的效果改变是否较大,如果较大就说明系统精度的瓶颈就在刚刚替换了的这个部件这里

这在coursera上的课程上也有说明,但我好像没有作笔记

////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////

再次就是ablative analysis(销蚀分析)

和上面不同的的是销蚀分析是在最后结果很高的情况下,remove一个组件的输出,来看每个部件对最后结果的影响

机器学习 cs229学习笔记1_第1张图片

视频截图,就看个轮廓吧,99.9%是整个系统的精度,依次remove左边的一个组件的基准值

看看哪个组建值得优化,值得注意的是“依次”

////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////

最后一点就是the danger of over-theorizing

机器学习 cs229学习笔记1_第2张图片


(视频截图),也就是说,不要太过理论化,否则你的系统会变得越来越复杂,以至于无法实现

这就和有一个寓言一样:为了钉一幅画,没有锤子,去找锤子。做锤子要木头,就去伐木

伐木要伐木机,就去找伐木机,伐木机没油………


//////////////////////////////////////////////////////////////////////////////////////////////////////////////



你可能感兴趣的:(优化,机器学习,系统)