李宏毅ML05—Logistics Regression

Logistics Regression

1 逻辑回归和线性回归的比较

• 先给出结论的表格

Logistics Regression	Linear Regression
Output: 0~1	Output: 任何值
：1 代表Class1，0 代表 Class2	是真实的数值
	同左边

• 其中Cross Entropy:
• 为什么要用Cross Entropy（交叉熵），为什么不直接用线性回归中的 Square Error？
  在逻辑回归中，如果用Square Error，经过公式推导，若，则当等于1（close to Class1）或者等于0（far from Class1）时，都将为0.
  
  Cross Entropy vs Square Error

1.1 LR的损失函数和梯度下降

1.1.1 Likelihood function

• 
  求该函数的最大值，为了方便，转化成下面的函数，求最小值点
  
  其中为1时，代表Class1，为0时，代表Class2

1.1.2 梯度下降过程

• 
  这是损失函数里中括号里的一项，最终可将损失函数化简得
  
  

1.2 Discriminative vs Generative

• Discriminative 和 Generative 是两种寻找参数的方法
  前者直接找到和
  后者会找到
• 两者最终得到的w和b是不一样的

• 从最终的测试结果来说，Discriminative 得到的结果是更好的
  但是Generative Model 在一些情况下会得到更好的结果，因为Generative Model 会有“脑补的过程”
  即，在样本集合中不存在的某个样本，也会被Generative脑补出来，这样的样本在一个大的样本集合中可能会出现。

  
  
  Generative 判断两个红球同时出现的可能性 Class2 更大
• Generative 的好处
  对训练集的数量要求更小
  对训练集的噪音抗干扰能力更强

1.3 Multi-Class Classification

以三个类为例



如下图所示，三个类经过Softmax函数之后，最终的值都会落在0,1之间

大的越大，小的越小

1.3.1 Softmax 原理

• 假设有3个Class，都是高斯分布，共用同一个协方差矩阵，这种情况下，做一般推导以后，得到的就是softmax function

1.3.2 Softmax 损失函数

• x属于 Class1时
  
• x属于 Class2时
  
• x属于 Class3时
  
  用这种方式表示的好处是，Class之间不再有某两者更加近的距离（如2比1离3更近）

1.3.3 Softmax 梯度下降

更新中...