李宏毅2020机器学习笔记3——logistic回归

logistic回归示意图

李宏毅2020机器学习笔记3——logistic回归_第1张图片
sigmoid激活函数。
这个图画的有一点神经网络的感觉。

李宏毅2020机器学习笔记3——logistic回归_第2张图片
这里用到了极大似然。
L 就是在各个x下,是已知分类的概率的乘积,使得这个L最大的w和b值,就是所求。
李宏毅2020机器学习笔记3——logistic回归_第3张图片
求max转换为求min
将C1 C2 分类转换为 0 1 分类,为了方便写成统一的式子
转换之后可以看出式子可以统一了

可以转换了,下图:
李宏毅2020机器学习笔记3——logistic回归_第4张图片
统一了形式,还引入了交叉熵的概念。
李宏毅2020机器学习笔记3——logistic回归_第5张图片
李宏毅2020机器学习笔记3——logistic回归_第6张图片
你离目标越远,你的步长就越大。

logistic回归与线性回归对比

李宏毅2020机器学习笔记3——logistic回归_第7张图片
李宏毅2020机器学习笔记3——logistic回归_第8张图片

logistic回归+square error

上面寻找最优时用的是极大似然,这里用平方误差和看一下。

李宏毅2020机器学习笔记3——logistic回归_第9张图片
李宏毅2020机器学习笔记3——logistic回归_第10张图片
李宏毅2020机器学习笔记3——logistic回归_第11张图片
square error:很远处走的也很慢很慢,可能很好几个小时都跑不出来结果。根本不知道你现在离目标值是近还是远。
cross entropy:很远处的梯度很大,步长很大。 步长小的时候往往离最优值很近。

往往根据这些调节learning rate 学习率,square error就无法根据什么信息来调节

logistic回归 多分类问题

李宏毅2020机器学习笔记3——logistic回归_第12张图片
用softmax将其输出值限制在[0,1]之间,且通过e的多少次方,会将所有z转换为非负数,并且,会将z之间的差距拉大,便于区分。李宏毅2020机器学习笔记3——logistic回归_第13张图片

logistic回归的局限性

李宏毅2020机器学习笔记3——logistic回归_第14张图片
这种情况就无法分类了。
因为画出来的决策边界肯定是一条直线

怎么做?
特征转换

李宏毅2020机器学习笔记3——logistic回归_第15张图片
李宏毅2020机器学习笔记3——logistic回归_第16张图片
李宏毅2020机器学习笔记3——logistic回归_第17张图片

你可能感兴趣的:(机器学习)