机器学习(四):逻辑回归

逻辑回归通过使用逻辑函数来估计概率,从而测量分类独立变量与一个或多个非独立变量之间的关系,而逻辑函数就是所谓的累积逻辑分布.

从更多的数学观点来看,逻辑回归比线性回归对数据有更加强烈的假设:

机器学习(四):逻辑回归_第1张图片

逻辑回归是判别模型,因此可以直接学习p(y|x):

机器学习(四):逻辑回归_第2张图片

机器学习(四):逻辑回归_第3张图片

所有的数学计算过程如下:

机器学习(四):逻辑回归_第4张图片

使用MLE或者MAP进行权值估计:

机器学习(四):逻辑回归_第5张图片

损失函数——交叉熵损失

机器学习(四):逻辑回归_第6张图片

Q: 学习率与交叉熵损失函数之间的关系是什么?

你可能感兴趣的:(机器学习)