机器学习(二)多元梯度

多元梯度机器学习

公式的变化

机器学习(二)多元梯度_第1张图片

机器学习(二)多元梯度_第2张图片

特征缩放 归一化

作业一已经用过这个方法了
机器学习(二)多元梯度_第3张图片

学习率

机器学习(二)多元梯度_第4张图片

学习率太小的话 收敛速度慢
学习率太大的话 会导致这样的结果 可能不会每次迭代都下降 甚至可能不收敛
机器学习(二)多元梯度_第5张图片
机器学习(二)多元梯度_第6张图片

特征和多项式回归

将一个变量的多次 拟合在一个方程中
机器学习(二)多元梯度_第7张图片

正规方程法

导数为0 各个偏导均为0
机器学习(二)多元梯度_第8张图片
下图中的thete是为了求X的左逆,乘转置是为了它拥有逆矩阵,免得没法算了
机器学习(二)多元梯度_第9张图片
梯度缺点:
1.选择学习效率,运行多次
2.多次迭代,速度可能慢
正规方程
1.不需要学习效率和迭代
2.如果n很大 时间复杂度O(n2)很慢,n很大用梯度下降
正规方程法要是不可逆的原因:多余的特征;或者有太多的特征了(需要删除掉一些特征)
通常10000是分界点
机器学习(二)多元梯度_第10张图片

正规矩阵不可逆的情况

满秩就可逆,线性相关的列删了就行

你可能感兴趣的:(人工智能,机器学习,机器学习,人工智能,算法)