吴恩达深度学习 2.2 logistic回归

笔记

引言

logistic回归是机器学习中的一种分类模型，用在监督学习中输出y标签是0或1的时候。属于一种在线学习（动态扩展）算法，可以利用新的数据各个特征的权重进行更新，而不需要重新利用历史数据训练。

logistic回归本质上通过在线性回归模型中引入Sigmoid函数，将线性回归的不确定范围的连续输出值映射到（0，1）范围内，成为一个概率预测问题。

线性回归

概念：对于多维空间中存在的样本点，用特征的线性组合（特征加权）去拟合空间中点的分布和轨迹。

线性回归表达方式

expression 1

向量表达形式：

参数w表示对应的属性在预测结果中的权重，称作权值（weights）；参数b是实数，称作偏置向量（bias vector）
W = (w₁,w₂…w_d) 表示列向量
W^T表示W的转置

expression 2

向量表达形式：

参数w表示该某一特征对应的权重
W^T表示W的转置
x₀表示额外的特征向量，值为1
X是$(n_x+1)$维向量，即$X\in R^{n_x+1}$

解释：X的前面加个x₀=1，作为偏置项的基底，此时X就从n维向量变成了n+1维向量，即变成 [1, x₁,x₂…] ，为了每个分类器去训练自己的偏置项权重，每个分类器的权重就也变成了n+1维，即[w₀,w₁,…]，其中，w0就是偏置项的权重，所以1*w₀就是本分类器的偏置/截距。这样，让截距b与斜率W统一到一个框架下，使得模型在训练的过程中不断调整参数w0，从而达到调整b的目的。

线性回归的不足

线性回归模型既可以用于回归，也可以用于分类

• 解决回归问题，可以用于连续目标值的预测。
• 但是针对分类问题，该方法则有点不适应，应为线性回归的输出值是不确定范围的，无法很好的一一对应到我们的若干分类中。即便是一个二分类，线性回归+阈值的方式，已经很难完成一个鲁棒性很好的分类器了。
  
  为了实现更好的分类，logistic回归诞生了

逻辑回归

通过在线性回归模型中引入Sigmoid函数，将线性回归的不确定范围的连续输出值映射到（0，1）范围内，成为一个概率预测问题。

sigmoid函数

Sigmoid函数是一个在生物学中常见的S型函数，也称为S型生长曲线。在信息科学中，由于其单增以及反函数单增等性质，Sigmoid函数常被用作神经网络的阈值函数，将变量映射到0,1之间。

函数表达式为：

逻辑回归表达方式

expression 1

expression 2

θ表示向量参数

expr1和expr2关联

由于在神经网络中将b和w看作两个单独的参数更好，故约定使用expression 1

参考资料

逻辑回归（LR）个人学习总结篇
作者：流川枫AI
来源：简书

神经网络中w，b参数的作用
作者：AI_盲
来源：CSDN

机器学习之线性回归(linear regression)
作者：朱涛
来源：知乎

神经网络中的偏置项b到底是什么？
作者：夕小瑶
来源：机器之心