线性规划、梯度下降、正规方程组——斯坦福ML公开课笔记1-2

转载请注明链接：http://blog.csdn.net/xinzhangyanxiang/article/details/9101621

最近在看Ng的机器学习公开课，Ng的讲法循循善诱，感觉提高了不少。该系列视频共20个，每看完一个视频，我都要记录一些笔记，包括公式的推导，讲解时候的例子等。按照Ng的说法，公式要自己推理一遍才能理解的通透，我觉得自己能够总结出来，发到博客上，也能达到这个效果，希望有兴趣的同学要循序渐进，理解完一个算法再开始学另外一个算法，每个算法总结一遍，虽然看起来很慢，但却真正的理解了，所谓虽慢实快者也。

由于csdn博客上写公式实在是太难弄了，如果一个公式一个公式的转成图片传上来，反而是排版很差。所以索性全部弄成图片传上来，虽然这样不利于SEO，但是在csdn这个平台下，相信还是会有很多人看到我的博客的，希望能对读者有所帮助。

第1-2个视频的笔记如下，主要的内容包括线性规划、最小二乘法，求解最小二乘法的梯度下降算法与正规方程组算法。

版权声明：本文为博主原创文章，未经博主允许不得转载。

• 上一篇机器学习经典书籍小结
• 下一篇局部加权回归、逻辑斯蒂回归、感知器算法—斯坦福ML公开课笔记3

顶

16

踩

1

主题推荐

csdn博客 机器学习 算法 视频 博客

猜你在找

Spark 1.x大数据平台

R语言知识体系概览

Java经典算法讲解

有趣的算法（数据结构）

网络赚钱靠谱项目推荐

准备好了么？ 跳吧             ！ 更多职位尽在 CSDN JOB

C++开发工程师

深圳市互联港湾网络技术有限公司

|

8-12K/月

我要跳槽

C++开发工程师

佳都新太科技股份有公司

|

6-12K/月

我要跳槽

C++工程师

广州华工邦元信息技术有限公司

|

5-10K/月

我要跳槽

Wireless BTS L1Engineer

亚创博彦（北京）科技有限公司

|

10-17K/月

我要跳槽

查看评论

8楼  wtyxzy 2015-05-10 20:06发表 [回复]

你好 想问一下 既然正规方程组已经推导出theta了 为什么还要用梯度下降法，而且求出的可能是局部最小值

7楼  Lauracheng 2015-05-06 14:48发表 [回复]

你好博主，请问你有没有正规方程组方法中，公式16，theta的用matlab书写的程序啊。

6楼  chasingdream119 2015-03-29 16:26发表 [回复]

总结的挺好的

5楼  silver514 2014-12-18 18:20发表 [回复]

看不懂视频就来看博客，然后自己再推推就全懂了，博主大赞啊！感谢~

4楼  lzh6920390 2014-05-18 20:22发表 [回复]

最后性质9的证明，第二步不懂，*表示什么

Re:  张雨石 2014-05-21 21:43发表 [回复]

回复lzh6920390：*就是A，按照乘法求导原则， d( f(a)*g(a) )/da = f(a)*dg(a)/da + g(a) * df(a)/da。 我是为了让大家看清楚那两个式子是对哪个A求导了。

3楼  HYHDTC 2014-05-12 08:54发表 [回复]

太感谢了！帮助很大

2楼  zhoyan2012 2014-03-05 20:11发表 [回复] [引用] [举报]

博主好，我数学一直不是很好，公式看起来比较累，而且有个地方一直没看明白，一开始介绍梯度下降的时候有下列公式。

 hθ(x) = θT*x

而在介绍正规方程式推导的时候为什么x(1)T*θ 也可以转换成hθ(x)呢？这一步不是很明白呀。

Re:  张雨石 2014-05-21 21:49发表 [回复] [引用] [举报]

回复zhoyan2012：在推导正规方程式的时候，注意到我的x（1）的1是上标。上标表示是m个实例中的一个。所以正规方程式时的x(1)和x是一个东西——向量，而不是x的一个分量。

1楼  zhoyan2012 2014-03-05 15:41发表 [回复]

博主总结的很棒，本来数学基础不太好，公开课的一些内容没看懂，结合这个笔记，竟然明白了。