机器学习 复习笔记（3） 回归

根据y值，分成回归与分类。y是连续值就是回归问题，y是离散值就是分类问题。


x是样本，θ是参数。θ是未知的，x是已知的。

Question：为什么我们预测出来的模型会和实际值有误差 ε？
因为根据已知特征和给定数据，我们求出来的模型，并不能反映真实世界的全貌。比如我们预测的房价和真实房价有区别，原因是可能特征里没有显示出这个房子门前有一颗树，影响了房价。
根据中心极限定理，我们的数据一般都是服从正态分布的。

中心极限定理：
是指概率论中讨论随机变量序列部分和分布渐近于正态分布的一类定理。这组定理是数理统计学和误差分析的理论基础，指出了大量随机变量近似服从正态分布的条件。它是概率论中最重要的一类定理，有广泛的实际应用背景。在自然界与生产中，一些现象受到许多相互独立的随机因素的影响，如果每个因素所产生的影响都很微小时，总的影响可以看作是服从正态分布的。中心极限定理就是从数学上证明了这一现象。最早的中心极限定理是讨论重点，伯努利试验中，事件A出现的次数渐近于正态分布的问题。

似然函数

最小二乘就是将误差认为是高斯分布，各个变量之间相互独立，应用最大化对数似然求出的目标函数/损失函数。




高阶的时候，过拟合，有一个不恰当的例子，比如2个人走路，递给他一本书，是很容易的。但是如果是卫星对接，难度就会很大，因为他们的速度很大。所以过拟合问题虽然也可以很好的预测出来，但是因为他们的系数θ非常的大，导致本来2点本来是在一条直线的，变成了非常夸张的曲线。

关于复杂度惩罚因子θ**2，因为我们要求J(θ)的最小值，所以其实就是控制θ，不让他过大。Elastic net就是L1+L2正则
L2的性能往往比L1好，但是L1可以做特征选择，L2不行。

为什么我们求θ时候，希望有系数解，既一些θ=0.因为这样的话，说明一些特征x是无效的。我们之前加正则项会加count(θ!=0)这一项，称之为L0正则化。可以看出，L0和L1（绝对值累和）的近似的。

L1和L2正则可以看他们是θ的次方。超参数λ是我们设定的，也就是我们要调的参数。

广义逆矩阵


梯度下降算法


批量梯度下降

随机梯度下降

mini-batch 梯度下降

几种不同的正则
MSE均方误差。也可以求RMSE（root mse 算数平方根）。

关于R2：**
RSS有可能大于TSS，所以R2有可能为负。当预测值等于均值时候，也就是预测值为样本的期望时，RSS等于TSS。R2等于0

局部加权回归：
对于某一个样本有一个权值w，这个w我们的是可以自己定义的。高斯核函数



用回归线直接做分类，效果受noise影响较大。

Logistic 回归

对数似然函数严格的说，我们求的是梯度上升，因为似然是求概率最大。但是我们平时却都说成是梯度下降。假定样本间互相独立。他们的概率如下：


重点：可以看到逻辑回归和线性回归在学习规则上竟然是完全一致的。但是他们的函数本身又是不同的，线性回归为线性方程，逻辑回归为logistic/sigmoid方程。
Logstic回归，我们假定了模型服从二项分布，然后利用MLE最大似然估计去求导。
线性回归，我们假定模型服从高斯分布，然后利用最大似然估计求导。
原因是二项分布、高斯分布、泊松分布等，他们都属于指数族分布。

为什么说logstic回归是广义的线性模型，我们取它的对数几率

假设它的对数是线性的，我们求出p就是logistc回归