机器学习问题及分析笔记

最小平方差代价函数

机器学习问题及分析笔记_第1张图片
代价函数简化图

机器学习问题及分析笔记_第2张图片
最小平方差代价函数

梯度下降步骤

机器学习问题及分析笔记_第3张图片
梯度下降步骤图

机器学习问题及分析笔记_第4张图片
梯度下降模型图
机器学习问题及分析笔记_第5张图片
梯度下降公式图

梯度下降解决了什么问题?
答:梯度下降解决代价函数某一点上最小化问题,将代价函数收敛,得到最优值,梯度下降是局部最优解。由于我们的代价函数是一个凸函数,全局只有一个最优解也就是最小值,所以总会收敛到全局最优解。

什么是线性回归算法?

机器学习问题及分析笔记_第6张图片
最小平方差代价函数+梯度下降公式(单变量线性回归)

机器学习问题及分析笔记_第7张图片
对偏导数进行求导(涉及 微积分知识)
机器学习问题及分析笔记_第8张图片
化简的线性回归公式

答:最小化平方差代价函数 + 梯度下降 = 线性回归算法

什么是正规式?
答:正规式,线性回归算法中对特征量较少的梯度下降算法的替换方案。

近期持续更新中。。。。

你可能感兴趣的:(机器学习问题及分析笔记)