吴恩达机器学习——多元梯度下降,学习率,特征,特征多项式

这里有啥

    • 如何判断梯度下降是正常的???
    • 自动收敛测试
    • 学习速率的选择
    • 特征
    • 多项式回归

如何判断梯度下降是正常的???

吴恩达机器学习——多元梯度下降,学习率,特征,特征多项式_第1张图片
如果迭代正常,每一步迭代后J(Θ)都应该下降。并且下降的程度逐渐减缓。

自动收敛测试

如果代价函数小于某个值ε时, 例如ε可以是1e-3,但是通常选择一个ε非常困难,依靠自动收敛检测不一定可靠,还是通过图像比较可靠。

学习速率的选择

吴恩达机器学习——多元梯度下降,学习率,特征,特征多项式_第2张图片
从代价函数图像表现出代价函数的值迭代后不断上升,或呈震荡,意味着学习速率过大,会使得梯度下降过程中越过最低点,造成代价函数的值上升、不稳定。这样会使得迭代不稳定、或者不一定收敛。
当然,步长过大也可能会出现收敛缓慢,但一般出现的问题是不一定迭代后每一步代价函数的值都下降。
只要学习率足够小,梯度下降总能够找到一个最小代价值。但是学习速率过小,则会造成使得要走很多很多步才能找到这个值。
吴恩达机器学习——多元梯度下降,学习率,特征,特征多项式_第3张图片

特征

吴恩达机器学习——多元梯度下降,学习率,特征,特征多项式_第4张图片
这所房子有多个特征,例如房子的位置、面积、房间数、长度、深度、层数等。
选择的特征不同,得到的模型也不同,选择合适的特征,你可能会得到一个更好的模型。

多项式回归

吴恩达机器学习——多元梯度下降,学习率,特征,特征多项式_第5张图片
建模过程,上图选择深度、宽度得到的面积来建模,并不直接选择临街的宽度、房子的长度来建模。
吴恩达机器学习——多元梯度下降,学习率,特征,特征多项式_第6张图片
通过对数据的观察以及你的数理知识,你可以建立一个好、更复杂的模型。
尽管有很多的特征你可以自由的选择,但不一定所有的特征都合适。后面的介绍的算法能够观察给出的数据,自动为你选择合适的特征,计算出一个更符合数据的模型。

你可能感兴趣的:(机器学习)