线性回归和逻辑回归

线性回归

线性回归简述：线性回归是利用线性回归方程的最小二乘法函数对一个或多个自变量和因变量之间的关系进行建模的方法。

线性回归的应用：

大多数情况中X、Y是一个向量而非实数，所以：

其中模型等式要想成立，需要加入误差。

线性回归的数学定义：

X为某一行从第一个到第p个样本的特征值，前面的1是手工添加，为了方便乘法计算。

线性回归数学解析解：

通过计算X、Y间的规律推测出的贝塔与真实贝塔有区别，n越大两值越接近。

 

h0代表任意模型参数

损失函数：描述预测值与真实值差异，当差异越小说明模型越好。

（分母加2方便求导数）

线性回归的损失函数为凸函数，具有全局最优解，对损失函数求导，使得损失函数导师为0，那么Θ的值就是解析解。

逻辑回归

线性回归：预测在很广的空间中变化的实数的值，是回归问题。

逻辑回归：分类问题。（eg:人脸识别）由于是分类问题有固定类别，是离散的。

如果用线性拟合的方式直接来做，变成分类问题的话，会对outlier很敏感

如果用分段函数拟合，在某些具体的点会不可导，连续不一定可导。

使用连续且可导的函数——逻辑函数，当x->+∞时，逻辑函数趋向于1；当x->-∞时，逻辑函数趋向于0；

常用指数对数：

逻辑回归知识点：

（以上笔记为学习贪心学院《机器学习特训营》第三章内容）