关于线性回归的公式推导

数学基础太差了 感觉看不太懂 插个眼 以后回来再看

推导最优值 optimal value 的公式

先有log likelihood 对数似然估计的公式
在这里插入图片描述

因为要最优化,所以取梯度等于0
关于线性回归的公式推导_第1张图片
合并之后:
关于线性回归的公式推导_第2张图片
可以得出sigma的平方
关于线性回归的公式推导_第3张图片

推导加权均方误差 mean of weighted squared errors 的公式

在这里插入图片描述
展开之后
关于线性回归的公式推导_第4张图片
没太懂:
关于线性回归的公式推导_第5张图片
最后标准公式
在这里插入图片描述

推导 ridge regression 岭回归 最优值

先有岭函数的目标方程
在这里插入图片描述
写成向量的表达
在这里插入图片描述
前半段可以被表达为
在这里插入图片描述
求最优
关于线性回归的公式推导_第6张图片
合并:
关于线性回归的公式推导_第7张图片
让他等于0
关于线性回归的公式推导_第8张图片
就推完了

你可能感兴趣的:(学习笔记,线性回归,逻辑回归)