人工智能基础_机器学习011_梯度下降概念_梯度下降步骤_函数与导函数求解最优解---人工智能工作笔记0051

然后我们来看一下梯度下降,这里先看一个叫

无约束最优化问题,,值得是从一个问题的所有可能的备选方案中选最优的方案,

我们的知道,我们的正态分布这里,正规的一个正态分布,还有我们的正规方程,他的这个x,是正规的,比如上面画的这个曲线,他的这个x,就是大于0的对吧,而现实生活中,

我们x的值可能是各种各样的没有约束的,基于没有约束的,这个问题..

我们来求导数,对y求导数得到,曲线的斜率,就叫做梯度下降

继续看,我们要找导数为0的,那么可以看到,底部

可以看到底部,和曲线的顶部都是斜率为0,导数为0对吧,但是

好在我们已经验证了,我们的最小二乘法,正态分布,对应的  是一个 开口向上的函数

所以我们找到的肯定是最低点对吧.

因为我们使用正规方程一次进行求解的话,花费的时间很长,可以看上面的说明.

所以我们只需要,令导数为0,然后这个就是斜率为0,求这个时候的seta是多少,其实就是模型w对吧

梯度下降法,其实就是,一点点去逼近这个最优解