线性回归与逻辑回归

线性回归和逻辑回归的应用场景？

答：线性回归主要用来解决连续值预测的问题，逻辑回归用来解决分类的问题，输出的属于某个类别的概率，工业界经常会用逻辑回归来做排序

线性回归

线性回归（Linear Regression）是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。

模型

hθ=θTx

损失函数

J(θ)=12m∑i=1m(hθ(xi)−yi)2

通过训练数据集寻找参数的最优解，即求解可以得到minJ(θ)的参数向量θ,其中这里的参数向量也可以分为参数和w和b,分别表示权重和偏置值。

求解最优解的方法有最小二乘法和梯度下降法。

• 最小二乘法：基于均方误差最小化来进行模型求解的方法。对于线性
  非线性最小二乘法无闭式解，一般通过迭代法求解；而线性最小二乘有闭式解，通过一系列的数学推导，可以得到一个标准方程：
  
  θ=(XTX)−1XTy

• 梯度下降法：利用沿着梯度下降最快的方向求偏导数，得到损失函数的局部最小值时的参数

  梯度下降法和最小二乘法相比，梯度下降法需要选择步长，而最小二乘法不需要。梯度下降法是迭代求解，最小二乘法是计算解析解。如果样本量不算很大，且存在解析解，最小二乘法比起梯度下降法要有优势，计算速度很快。但是如果样本量很大，用最小二乘法由于需要求一个超级大的逆矩阵，这时就很难或者很慢才能求解解析解了，使用迭代的梯度下降法比较有优势。

逻辑回归

模型

损失函数