2018-12-03 机器学习打卡 逻辑回归

问题

问题1

y敏感而不是x敏感，是不是说明容错非常差，x一点抖动会直接影响y的结果

问题2

多维度这里只说到了θj的求解，也就是本维度最大似然的参数，那么多维的θj又是如何组合起来判断，综合各维度的结果呢？

14课 逻辑回归——非线性逻辑函数的由来

逻辑回归 Logistic Regression （LR）

LR 是一种简单、高效的常用分类模型

由来

指数增长：几何级数
对指数函数的上限修正
用逻辑函数来描述人口增长的情况，直观上：起初阶段大致是指数增长，随着总量增长，逐渐趋于饱和，增加变慢；最后，达到成熟时增长趋停。
逻辑函数表示存量与时间的变化关系，反映到增长率的话（微分，逻辑分布），则是类似正态分布，终趋于零）

方法论

将问题定义为函数，做出最简单假设，用事实验证形成模型，对问题进行修正升级模型。核心：直接、简单、基于现有成果

线性VS非线性

线性关系表达的是一种相关性。线性回归因其简单、容易理解、计算量低等特点，而在现实中得到了广泛应用（基本上，任何事情，上来先做个线性回归，即使无法得出结论，也不会消耗太多资源）。
但是，相关不等于因果，许许多多的情况无法用简单的相关来模型化。
非线性计算量大。

15课 逻辑回归——用来做分类的回归模型

逻辑回归分类

LR的纵轴在[0,1]区间的实数。y>0.5时为True，y<=0.5时为false。
由于在0.5附近较敏感，正好适合分类。（问题？，y敏感而不是x敏感，不是说明容错非常差，x一点抖动会直接影响y的结果）

逻辑回归的目标函数

公式本身h(x) 指y为阳性的分布概率

下面的公式又看浆糊了，大意：为了求L(θ) 这个极大似然，先取对数好计算，然后取负改为凸函数求最小，得到负对数似然函数（LR目标函数）

优化算法

• 对目标函数求导获得下降方向--J′(θ)
• 根据步长α，更新参数θ:=θ−αJ′(θ) ；
• 迭代收敛

对n维的情况，分别求解。

问题?多维度这里只说到了θj的求解，也就是本维度最大似然的参数，那么多维的θj又是如何组合起来判断，综合各维度的结果呢？

代码实现

用sklearn库简单

多分类问题

原理：2分做n次，每次分为本组的true false。最终哪组true或者概率最高，确定结果。不过在sklearn中无需考虑。