李宏毅2020机器学习深度学习笔记 P11 Logistic Regression

Logistic Regression

Step1:Function Set

目的：

要找几率 $Pw,b(C_1|x)$
若 $Pw,b(C_1|x)\ge 0.5$，输出为C1;
若 $Pw,b(C_1|x)<0.5$，输出为C2。

若要用高斯分布，$Pw,b(C_1|x)=\sigma (z)$
[$\sigma (z)=\frac{1}{1+e^{-z}}$]

把z带进$\sigma (z)$就得到几率
$$z=w\cdot x+b=\sum _i{w}_i{x}_i+b$$

Function Set:

$f_{w,b}(x)=P_{w,b}(C_1|x)$

(下标为w和b的意思是f是受w和b的控制的)

$$f_{w,b}(x)=P_{w,b}(C_1|x)=\sigma (z)=\frac{1}{1+e^{-z}}$$

Logistic Regression

$$f_{w,b}(x)=\sigma (\sum _i{w}_i{x}_i+b)$$
他的输出通过signoid function，所以是介于0到1之间的

Linear Regression

$$f_{w,b}(x)=\sum _i{w}_i{x}_i+b$$
他的输出没有通过signoid function，所以他的output可以是任何值

---

Step2:Goodness of a Function

定义损失函数（LOSS）来评价模型好坏
$$w^{\ast },b^{\ast }=\underset{w,b}{\mathrm{argmax}}L(w,b)=\underset{w,b}{\mathrm{argmin}}(-lnL(w,b))$$
通过ln 将连乘变成连加，简化了计算机的计算
在计算机中，连乘后的数值容易溢出，变成连加后，数值不容易溢出。
$$-lnL(w,b)=\sum _n-[{\hat{y}}^{n}lnfw,b(x^n)+(1-{\hat{y}}^n)ln(1-fw,b(x^n))]$$
注： ${\sum }_n-[{\hat{y}}^{n}lnfw,b(x^n)+(1-{\hat{y}}^n)ln(1-fw,b(x^n))]$
这一项是两个Bernoulli distribution（伯努利分布）的cross entropy（交叉熵）
若把Distribution p:
$p(x=1)={\hat{y}}^n$
$p(x=0)=1-{\hat{y}}^n$
与Distribution q:
$p(x=1)=f(x^n)$
$p(x=0)=1-f(x^n)$
进行交叉熵运算(cross entropy)
$H(p,q)=-{\sum }_{x}p(x)\ln (q(x))$
则算出的结果就是 $-[{\hat{y}}^{n}lnfw,b(x^n)+(1-{\hat{y}}^n)ln(1-fw,b(x^n))]$

---

定义function的好坏

Logistic Regression

Training Data:$(x^n,{\hat{y}}^n)$
${\hat{y}}^n$:1 for class 1,0 for class 2
$$L(f)=\sum _{n}C(f(x^n),{\hat{y}}^n)$$
他的loss是所有例子交叉熵的总和，也就是$x^n与{\hat{y}}^n$的交叉熵
希望function的输出与目标相差越小越好

Linear Regression

Training Data:$(x^n,{\hat{y}}^n)$
${\hat{y}}^n$:a real number
$$L(f)=\frac{1}{2}\sum _n(f(x^n)-{\hat{y}}^n{)}^2$$

---

Step3:Find the best function

经过复杂的数学运算后，得到
$$w_i=w_i-\eta \sum _n-({\hat{y}}^n-f_{w,b}(x^n))x_i^n$$

$$C(f(x^n),y^n)=-y^{n}lnfw,b(x^n)-(1-y)ln(1-fw,b(x^n))$$
Q：为什么logistic regression的损失函数不能和linear regression一样，选square error(平方误差)？
A：logistic regression + square error不容易得到很好的结果，而cross entropy容易得到很好的结果，会让training顺很多。

---

Discriminative v.s. Generative

把Logistic Regression（逻辑回归）的方法称为Discriminative（判别模型）的方法
用Gaussian distribution（高斯分布）来描述Posterior Probability（后验概率）的方法是Generative（生成模型）的方法。

生成模型作了假设，而判别模型没有作假设。

• 生成模型：$$P(C_1\mid x)=\frac{P(C_1)P(x\mid C_1)}{P(C_1)P(x\mid C_1)+P(C_2)P(x\mid C_2)}=\sigma (z)$$
• 判别模型：$$z=({\mu }^1-{\mu }^2{)}^T{\Sigma }^{-1}x-\frac{1}{2}({\mu }^1{)}^T{\Sigma }^{-1}{\mu }^1+\frac{1}{2}({\mu }^2{)}^T{\Sigma }^{-1}{\mu }^2+\ln \frac{N_1}{N_2}$$
  同样的数据，用生成模型和判别模型得到的w和b是不一样的。

普遍认为，生成模型的性能不如判别模型的性能。不过，生成模型也有优点：

• 因为假设了概率分布，所以需要的训练数据较少。
• 因为假设了概率分布，所以受噪声影响较小。
• 可以从其它资源处估算先验概率和类别独立概率。

---

Powerful Cascading Logistic Regression

把每一个Logistic Regression叫做一个Neuron，把这些Logistic Regression串起来做成的network就叫做Neural Network（内神经网络）

这就是Deep Learning