李宏毅2021春季机器学习课程视频笔记3-逻辑回归

逻辑回归

李宏毅2021春季机器学习课程视频笔记3-逻辑回归_第1张图片

 图形化表示如下所示

李宏毅2021春季机器学习课程视频笔记3-逻辑回归_第2张图片

 李宏毅2021春季机器学习课程视频笔记3-逻辑回归_第3张图片

 李宏毅2021春季机器学习课程视频笔记3-逻辑回归_第4张图片

 李宏毅2021春季机器学习课程视频笔记3-逻辑回归_第5张图片

 李宏毅2021春季机器学习课程视频笔记3-逻辑回归_第6张图片

 这里为什么在logistic回归中为什么不直接采用Linear Regression中的Loss函数?(待解决李宏毅2021春季机器学习课程视频笔记3-逻辑回归_第7张图片

 李宏毅2021春季机器学习课程视频笔记3-逻辑回归_第8张图片

 李宏毅2021春季机器学习课程视频笔记3-逻辑回归_第9张图片

 李宏毅2021春季机器学习课程视频笔记3-逻辑回归_第10张图片

 李宏毅2021春季机器学习课程视频笔记3-逻辑回归_第11张图片

 为什么在logistic回归中为什么不直接采用Linear Regression中的Loss函数?

 解答:选择使用均方根误差(Linear Regression),误差的导数在接近最小值时候会取值到0,但是当取值特别大,远远偏离正确数值情况下,其导数也会接近于0,这对梯度下降更新参数不利,导致模型不能有效训练。李宏毅2021春季机器学习课程视频笔记3-逻辑回归_第12张图片

 李宏毅2021春季机器学习课程视频笔记3-逻辑回归_第13张图片

李宏毅2021春季机器学习课程视频笔记3-逻辑回归_第14张图片

Discriminative和Generative(判别式模型和生成式模型)

个人理解:判别式模型直接根据Loss计算模型中的w和b,生成式模型先计算和w,b相关的参数,再转换为求解w和b,我们使用的是同一个模型,但是因为对模型做了不同的假设,得到的参数并不是相同的(会在function set中找到不同的function)。

李宏毅2021春季机器学习课程视频笔记3-逻辑回归_第15张图片

 哪一个找出来的参数更好呢?(从图中看到判别式模型的分类精度更高)

李宏毅2021春季机器学习课程视频笔记3-逻辑回归_第16张图片

李宏毅2021春季机器学习课程视频笔记3-逻辑回归_第17张图片

 李宏毅2021春季机器学习课程视频笔记3-逻辑回归_第18张图片

Discriminative和Generative(判别式模型和生成式模型)

Generative优势:

1.数据量叫小时候,其可能会优于Discriminative模型(数据量较小,可能并不能充分学习到有效的信息,脑部可以提供很多信息);

2.其对噪声和干扰具有更好的鲁棒性(假设了一个概率分布,自己做一些脑补和假设可以将data中有问题的数据忽略掉);

3.priors和class-dependent可能来自于不同的来源。(语言辨识,辨识中某一段话被说出来的率,并不需要依赖于原始的声音数据,只需要从网络上读取大量的数据,就可以知道下句话说出什么内容的概率。)

李宏毅2021春季机器学习课程视频笔记3-逻辑回归_第19张图片

 多分类(Muti-class Classification

李宏毅2021春季机器学习课程视频笔记3-逻辑回归_第20张图片

 (Maximum Entropy 与Logistics Regression同一个东西的不同切入角度),Bishop教科书(PRML)

采用One-hot编码没有考虑样本之间的距离(下图交叉熵少了负号)

李宏毅2021春季机器学习课程视频笔记3-逻辑回归_第21张图片

 Logistics Regression局限性李宏毅2021春季机器学习课程视频笔记3-逻辑回归_第22张图片

 特征转换李宏毅2021春季机器学习课程视频笔记3-逻辑回归_第23张图片

 Cascading逻辑回归李宏毅2021春季机器学习课程视频笔记3-逻辑回归_第24张图片

实际上就是多层感知机的最初原型

李宏毅2021春季机器学习课程视频笔记3-逻辑回归_第25张图片

你可能感兴趣的:(李宏毅机器学习笔记,机器学习,逻辑回归,人工智能)