李宏毅2021春季机器学习课程视频笔记3-逻辑回归

逻辑回归

 图形化表示如下所示

 

 

 

 

 这里为什么在logistic回归中为什么不直接采用Linear Regression中的Loss函数？（待解决）

 

 

 

 

 为什么在logistic回归中为什么不直接采用Linear Regression中的Loss函数？

 解答：选择使用均方根误差（Linear Regression），误差的导数在接近最小值时候会取值到0，但是当取值特别大，远远偏离正确数值情况下，其导数也会接近于0，这对梯度下降更新参数不利，导致模型不能有效训练。

 

Discriminative和Generative(判别式模型和生成式模型)

个人理解：判别式模型直接根据Loss计算模型中的w和b，生成式模型先计算和w，b相关的参数，再转换为求解w和b，我们使用的是同一个模型，但是因为对模型做了不同的假设，得到的参数并不是相同的（会在function set中找到不同的function）。

 哪一个找出来的参数更好呢？（从图中看到判别式模型的分类精度更高）

 

Discriminative和Generative(判别式模型和生成式模型)

Generative优势：

1.数据量叫小时候，其可能会优于Discriminative模型（数据量较小，可能并不能充分学习到有效的信息，脑部可以提供很多信息）；

2.其对噪声和干扰具有更好的鲁棒性（假设了一个概率分布，自己做一些脑补和假设可以将data中有问题的数据忽略掉）；

3.priors和class-dependent可能来自于不同的来源。（语言辨识，辨识中某一段话被说出来的率，并不需要依赖于原始的声音数据，只需要从网络上读取大量的数据，就可以知道下句话说出什么内容的概率。）

 多分类（Muti-class Classification）

 (Maximum Entropy 与Logistics Regression同一个东西的不同切入角度)，Bishop教科书（PRML）

采用One-hot编码没有考虑样本之间的距离（下图交叉熵少了负号）

 Logistics Regression局限性

 特征转换

 Cascading逻辑回归

实际上就是多层感知机的最初原型