CH4-李宏毅机器学习第2页

李宏毅机器学习课程资料

课程网址http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML19.html课程视频清单https://www.youtube.com/playlist?list=PLJV_el3uVTsPy9oCRY30oBPNLCo89yu49课程GitHubhttps://github.com/machineCYC/2017MLSpring_Hung-yi-Lee

阿叶·2023-11-03 02:19

李宏毅机器学习笔记.Flow-based Generative Model(补)

文章目录引子生成问题回顾：GeneratorMathBackgroundJacobianMatrixDeterminant行列式ChangeofVariableTheorem简单实例一维实例二维实例网络G的限制基于Flow的网络构架G的训练CouplingLayerCouplingLayer反函数计算CouplingLayerJacobian矩阵计算CouplingLayerStacking1×1

oldmao_2000·2023-11-03 02:59

李宏毅机器学习 Machine_Learning_2019_Task2

李宏毅机器学习Machine_Learning_2019_Task2机器学习打卡任务内容：理解偏差(Bias)&方差(Variance)偏差（bias）和方差（variance）的含义泛化误差可以分解成偏差的平方加上方差加上噪声

Hirotransfer·2023-11-02 23:09

李宏毅机器学习课程-UnsupervisedLearning0224

B站李宏毅2021春机器学习课程P32P33目录1、WordEmbedding2、SpatialTransformerLayer1、WordEmbedding2、SpatialTransformerLayerInterpolation：

cq-lc·2023-11-01 07:52

2022最新版-李宏毅机器学习深度学习课程-P26 自注意力机制

一、应用情境输入任意长度个向量进行处理。从输入看文字处理（自然语言处理）将word表示为向量one-hotword-embedding声音信号处理每个时间窗口（Window,25ms）视为帧（Frame）,视为向量图每个节点视为一个向量Socialgraph（社交网络图）分子式【one-hot】从输出看√输入输出数量相等【每个向量都有一个标签】⇒sequenceLabeling词性标注（POSta

QwQllly·2023-11-01 07:22

【李宏毅机器学习视频汇总】2016~2021李宏毅机器学习内容汇总及一些学习建议

最近在学习李宏毅老师的机器学习课程，但是发现他有着2016~2021的系列课程，不知从何开始，也没找着比较干货的内容指引。所以自己整理了一份基于b站（考虑到许多人没有，看不了yotube）搬运视频的学习指引。先放上李老师的个人主页！里面有课后作业以及PPT等资源！李宏毅个人主页接下来的话我按课程的时间简单划分了2016~2021，并罗列了课程里的内容，大家只需要找到自己对应的想学习的关键词，即可点

纳兹米z·2023-11-01 07:09

2022最新版-李宏毅机器学习深度学习课程-P32 Transformer

一、seq2seq1.含义输入一个序列，机器输出另一个序列，输出序列长度由机器决定。文本翻译：文本至文本；语音识别：语音至文本；语音合成：文本至语音；聊天机器人：语音至语音。2.应用自然语言处理（NLP问题），不过seq2seq有时候不一定是最佳的解决方法。语音辨识输入是声音讯号的一串的vector,输出是语音辨识的结果,也就是输出的这段声音讯号,所对应的文字⇒输出的长度由机器自己决定机器翻译机器

QwQllly·2023-11-01 07:38

DataWhale吃瓜教程-Task3学习笔记(CH4-决策树)

吃瓜教程学习笔记-CH4决策树4.1-基本流程1-基本概念2-基本算法流程4.2-划分选择1-补充知识2-ID3算法与信息增益3-C4.5算法与增益率4-CART算法与基尼指数4.3-剪枝处理1-预剪枝2-后剪枝参考：4.1-基本流程1-基本概念决策树decisiontree：基于树的结构来进行的决策。算法原理：在分类问题上，从逻辑角度，表示基于特征对实例进行分类的过程，可以认为是if-then的

Alexa2077·2023-10-26 22:33

李宏毅机器学习课程学习笔记-overfit

李宏毅机器学习2022课程学习笔记-L2-01overfit概要具体内容模型偏差Modelbias优化函数问题OptimizationIssue如何确认是modelbias还是OptimizationIssue

闪闪发亮的小星星·2023-10-26 20:37

《机器学习实战》ch1 ~ ch15 笔记目录

《机器学习实战》笔记（一）：Ch1-机器学习基础《机器学习实战》笔记（二）：Ch2-k-近邻算法《机器学习实战》笔记（三）：Ch3-决策树《机器学习实战》笔记（四）：Ch4-基于概率论的分类方

Liu_Goodfellow·2023-10-24 20:09

2022最新版-李宏毅机器学习深度学习课程-P26RNN-2

一、RNN网络结构与时间有关的反向传播（每次不同）损失函数实验其实不容易跑，因为他的损失函数曲线幅度很大画出来差不多是这个样子。突然一下升高是因为从右到左碰到陡峭的地方梯度一下变大了，所以弹回去了。原作者在训练时加上了小技巧——clipping：设置一个峰值，若超过则等于该峰值。梯度大的原因：当W>1时，微小的变化会引起很大的变化；当w<1时，较大的变化带来的变化也很小。RNN一些有用的变形LST

QwQllly·2023-10-20 03:33

2022最新版-李宏毅机器学习深度学习课程-P26 Recurrent Neural Network

RNN应用场景：填满信息把每个单词表示成一个向量的方法：独热向量还有其他方法，比如：Wordhashing单词哈希输入：单词输出：该单词属于哪一类的概率分布由于输入是文字序列，这就产生了一个问题：是到达还是离开？隐藏层的输出会被存储在内存中，内存能被视为另一个输入。改变序列的顺序会改变输出。RNN的网络结构目前已提出的两个网络及区别双向RNN它与传统的循环神经网络（RNN）相比有一个重要的区别：它

QwQllly·2023-10-19 00:07

2022最新版-李宏毅机器学习深度学习课程-P25 Spacial Transformer Layer

dataaugmentation/spacialtransformerCNN并不能够处理影像放大缩小,或者是旋转的问题。所以在做影像辨识的时候,往往都要做DataAugmentation，把你的训练数据截一小块出来放大缩小、把图片旋转，CNN才会做到好的结果。有一个架构叫spacialTransformerLayer可以处理。设计一个层，需要的地方=1，不要的地方=0经过一个NN，FP发生平移还可

QwQllly·2023-10-19 00:28

李宏毅机器学习笔记-transformer

transformer是什么呢？是一个seq2seq的model。具体应用如上图所示，输入和输出的序列长度不固定，由model自己决定。语音翻译指的是，直接输入一段语音信号，例如英文，输出的直接是翻译之后的中文。seq2seq如今已经是一个应用非常广泛的模型，可以应用于NLP的各种任务，如语义分析，语义分类，聊天机器人等。另外还有个值得说明的功能是做multilabelclassification

ZEERO~·2023-10-18 07:00

李宏毅机器学习笔记-半监督学习

半监督学习，一般应用于少量带标签的数据（数量R）和大量未带标签数据的场景（数量U），一般来说，U>>R。半监督学习一般可以分为2种情况，一种是transductivelearning，这种情况下，将unlabeleddata的feature利用进来。另外一种是inductivelearning，这种情况下，在训练的整个过程中，完全不看任何unlabeleddata的信息。为什么要做semi-sup

ZEERO~·2023-10-18 07:24

李宏毅机器学习课程-局部最小值0122

B站李宏毅2021春机器学习课程P10P11目录1、验证集选用2、判断是局部最小还是马鞍点3、判断点位示例

cq-lc·2023-10-16 19:57

2022李宏毅机器学习深度学习学习笔记第七周--局部最小点和鞍点

文章目录摘要一、怎么找一个函式（三步）二、GeneralGuide任务攻略怎么区分是modelbias还是optimizationissue。三、局部最小点和鞍点为什么optimization会失败？怎么区分到底是局部最小点还是鞍点？根据hessian判断θ'附近的地貌。相关的线性代数知识摘要回顾了找出一个函式的三个步骤：先写一个带有未知参数的函式，定义一个可以判断参数好坏的loss，最后通过梯度

hehehe2022·2023-10-16 19:24

李宏毅机器学习笔记第7周_局部最小值与鞍点

文章目录一、OptimizationFailsbecause……二、TaylerSeriesApproximation三、Example总结一、OptimizationFailsbecause……1．问题：我们在做optimization的时候会发现，随着参数的不断更新，training的loss不会再下降，但是我们对loss并不满意。因此我们会发现，一开始model就train不起来，不管我们怎

MoxiMoses·2023-10-16 19:21

2022最新版-李宏毅机器学习深度学习课程-P13 局部最小值与鞍点

一、优化失败的原因局部最小值？鞍点？二、数学推导分析用泰勒公式展开一项与梯度（L的一阶导）有关，一项与海赛矩阵（L的二阶导）有关海瑟矩阵VTHV通过海瑟矩阵的性质可以转为判断H是否是正定的来判断H正定=所有特征值为正=局部最小值H负定=所有特征值为负=局部最大值有些特征值为正，有些为负=鞍点例子计算导数和海瑟矩阵的特征值如果遇到鞍点，可以通过特征值来判断减小LOSS的方向：特征值为负的方向其实局部

QwQllly·2023-10-16 19:16

2022最新版-李宏毅机器学习深度学习课程-P17 卷积神经网络CNN

一、CNN用于图像分类需要图片大小统一彩色图像分为RGB三层，展平后首尾相接值代表着颜色的强度图像识别中不需要全连接的，参数太多了观测1：通过判断多个小局部图像就能判断出图片标签感受野的定义简化1感受野可以重叠；同一感受野可以通过不同的权重典型设置观测2：相同部分出现在不同区域简化2共享参数典型设置引入filter的概念，实质是同一套权重卷积的优势有些要素比整张图片小的多同一要素可能会出现在不同区

QwQllly·2023-10-16 14:06

2022最新版-李宏毅机器学习深度学习课程-P16 Loss可能影响网络训练失败&softmax与sigmoid

一、实例回顾分类的例子在前几讲中已详细分析，此处略过。二、softmax与sigmoid此处要明白！softmax和sigmoid的区别和联系Softmax函数和Sigmoid函数的区别与联系-知乎(zhihu.com)Sigmoid=多标签分类问题=多个正确答案=非独占输出（例如胸部X光检查、住院）。构建分类器，解决有多个正确答案的问题时，用Sigmoid函数分别处理各个原始输出值。Softma

QwQllly·2023-10-16 14:36

2022最新版-李宏毅机器学习深度学习课程-P23 为什么用了验证集结果还是过拟合

用了验证集还有可能会过拟合这个片段可以从理论上证明这一点以上整个挑选模型的过程也可以想象为一种训练。把三个模型导出的最小损失公式看成一个集合，现在要做的就是在这个集合中找到某个h（此处可以视为训练），使得在验证集上的损失最低当抽到不好的训练数据时，理想和现实会有差距。训练数据不好的原因：训练资料的大小模型的复杂程度（越复杂，结果越糟的可能性越大）当拿到的验证集不好时，理想和现实会有差距。拿到的验证

QwQllly·2023-10-16 14:33

强化学习(Reinforcement Learning)与策略梯度(Policy Gradient)

写在前面：本篇博文的内容来自李宏毅机器学习课程与自己的理解，同时还参考了一些其他博客(懒得放链接)。博文的内容主要用于自己学习与记录。

花飞雨追·2023-10-14 11:19

李宏毅机器学习（九）Backpropagation反向传播

我们上节课学习了深度学习，也知道采用梯度下降优化我们的各神经元参数，以语音识别为例，一个输入特征量1000多项，8层隐层，大致需要的w,b参数有数百万项，这样我们梯度下降的计算量是非常大的，我们为了让梯度下降计算的更有效率，我们才有反向传播的方法插图1链式法则chainrule我们学过微积分的话，下图应该不难理解，不赘述，看图插图2我们计算神经网络损失函数时候，把函数输出和目标值的距离评估（可以是

ca8519be679b·2023-10-12 12:58

2021李宏毅机器学习 1.2 神经网络基础笔记

从线性模型角度出发，考虑神经网络的原理由于linearmodel有modelbias，我们想获得更加复杂的model来拟合更多的问题；从linearmodel的角度出发，我们可以考虑用分段的线性函数作为model，就算数据分布实际上是圆滑的曲线，也可以用足够多的分段线性函数来逼近它。那么一个分段线性函数应该怎么样来实现呢？实际上可以用常数以及多个蓝色这种形状的函数把它组合出来，只要有足够多蓝色函数

我能学会机器学习吗·2023-09-30 06:30

CH4-面向对象下 (8个案例实现)

【案例4-1】打印不同的图形【案例介绍】1.案例描述本案例要求编写一个程序，可以根据用户要求在控制台打印出不同的图形。例如，用户自定义半径的圆形和用户自定义边长的正方形。2.运行结果【案例目标】学会“抽象类实现不同图形的打印程序设计”的实现思路。独立完成“抽象类实现不同图形的打印程序设计”的源代码编写、编译及运行。掌握抽象类的应用。掌握方法的重写。掌握继承的概念及其应用。【案例分析】（1）创建父类

一条大蟒蛇6666·2023-09-30 05:01

李宏毅机器学习第一课

机器学习就是让机器找一个函数f，这个函数f是通过计算机找出来的如果参数少的话，我们可以使用暴搜，但是如果参数特别多的话，我们就要使用GradientDescentRegression(输出的是一个scalar数值)Classification（在设定好的选项，两个或者多个，中做出选择）StructuredLearning（画一张图，写一段文字，让机器学会创造）机器人寻找一个函数式子有三个步骤一：f

大杯无糖·2023-09-23 08:43

【深度解析→博文总结】李宏毅机器学习2023作业03CNN(Image Classification)

SimpleBaseline：0.637】【MediumBaseline：0.700】【StongBaseline：0.814】【BossBaseline：0.874】【资源链接】【写在最后】【系列文章】【深度解析→博文总结】李宏毅机器学习

22世纪冲刺·2023-09-21 03:46

【深度解析→博文总结】李宏毅机器学习2023作业04Self-attention(Speaker Identification)

0.66025】【MediumBaseline：0.81750】【StongBaseline：0.88500】【BossBaseline：0.93175】【资源链接】【写在最后】【系列文章】【深度解析→博文总结】李宏毅机器学习

22世纪冲刺·2023-09-21 03:46

李宏毅机器学习2023作业（目录）

2023.09.20更新作业01的一键式执行StrongBaseline完整代码已整理好，提取码统一设置2023【深度解析→博文总结】李宏毅机器学习2023作业01Regression(COVID-19CasesPrediction

22世纪冲刺·2023-09-21 03:45

李宏毅机器学习GAN作业之动漫头像生成记录

数据集36740张3*64*64大小的二次元人物头像：模型本次采用DCGAN实现论文名称：UnsupervisedRepresentationLearningwithDeepConvolutionalGenerativeAdversarialNetworks论文地址：https://arxiv.org/abs/1511.0643实验参数配置学习率:G：2e-4D：2e-4batch_size=64

十万八千李·2023-09-18 22:44

李宏毅机器学习P24——semi-supervised learning半监督学习

首先初始化参数θ然后计算无标签数据的后验概率然后更新模型的参数θ这种方法相当直觉，没有很特别的理论解释这个方法理论上会收敛，但是初始值会影响结果原始的标注数据加上后面的无标签数据一次一次进行循环（solvediteratively）训练有标签数据得出一个model，然后使用这个model来跑无标签的数据得到一批Pseudo-label，再将无标签数据的一部分移除，加到有标签数据集里面（ppt有勘误

KinsonJul·2023-09-08 01:44

李宏毅机器学习笔记：RNN循环神经网络

RNN一、RNN1、场景引入2、如何将一个单词表示成一个向量3种典型的RNN网络结构二、LSTMLSTM和普通NN、RNN区别三、LSTM的训练一、RNN1、场景引入例如情景补充的情况，根据词汇预测该词汇所属的类别。这个时候的Taipi则属于目的地。但是，在订票系统中，Taipi也可能会属于出发地。到底属于目的地，还是出发地，如果不结合上下文，则很难做出判断。因此，使用传统的深度神经网络解决不了问

ZEERO~·2023-09-03 21:55

李宏毅机器学习课程笔记（更新ing）

CNN为什么AlphaGo可以用CNN？棋盘抽象成图片时需要注意什么？首先图片有两个特点：1，只观察局部就可以显示某种pattern，比如要得出一个鸟嘴的结论，只需要观察局部图片2，某种pattern可以出现在图片任意位置，比如鸟嘴可以出现图片左上角，右下角等位置那棋盘是否满足以上图片的两个特点？答案是肯定的。那棋盘就可以抽象成图片，然后使用CNN这种专门用来处理图片这两个特点的网络结构。另外再来

每天都想躺平的大喵·2023-09-01 13:20

李宏毅机器学习中文课程作业一：预测PM2.5值

一、作业要求给定训练集train.csv，要求根据前9个小时的空气监测情况预测第10个小时的PM2.5含量。训练集介绍：CSV文件，包含台湾丰原地区240天的气象观测资料(取每个月前20天的数据做训练集，12月X20天=240天，每月后10天数据用于测试，对学生不可见);每天的监测时间点为0时，1时…到23时，共24个时间节点;每天的检测指标包括CO、NO、PM2.5、PM10等气体浓度，是否降雨

idotc·2023-08-29 02:54

李宏毅机器学习笔记：结构学习，HMM，CRF

李宏毅机器学习笔记：结构学习，HMM，CRF1、隐马尔可夫模型HMM1.1Sequence2Sequence1.2HMM1.3Viterbi算法1.3HMM模型的缺点2、CRF2.1CRF模型2.2CRF

ZEERO~·2023-08-28 22:43

李宏毅MACHINE LEARNING 2021 SPRING笔记

id:8HbM2Cq9Wa22xJHYW9Y9jtitle:李宏毅desc:李宏毅机器学习2021,https://speech.ee.ntu.edu.tw/~hylee/ml/2021-spring.htmlupd

walkerwzy·2023-08-27 18:11

【深度解析→博文总结】李宏毅机器学习2023作业05Transformer(Machine Translation)

】【MediumBaseline：18.44】【StrongBaseline：23.57】【BossBaseline：30.08】【资源链接】【写在最后】【参考文献】【系列文章】【深度解析→博文总结】李宏毅机器学习

22世纪冲刺·2023-08-27 09:47

【深度解析→博文总结】李宏毅机器学习2023作业02Classification(Framewise Phoneme Prediction)

0.49798】【MediumBaseline：0.66440】【StongBaseline：0.74944】【BossBaseline：0.83017】【资源链接】【写在最后】【系列文章】【深度解析→博文总结】李宏毅机器学习

22世纪冲刺·2023-08-27 09:17

【深度解析→博文总结】李宏毅机器学习2023作业01Regression(COVID-19 Cases Prediction)

1.15678】【StrongBaseline：0.92619】【BossBaseline：0.81456】【总结讨论】【资源链接】【未完待续】【参考文献】【写在最后】【系列文章】【深度解析→博文总结】李宏毅机器学习

22世纪冲刺·2023-08-27 09:16

李宏毅机器学习——误差和梯度下降

误差误差的来源在机器学习中，误差=偏差+方差(Error=Bias+Variance)。Error反映整个模型的准确度Bias反映模型在样本上的输出与真实值之间的误差，即模型本身的精准度Variance反映模型每一次输出结果与模型输出期望之间的误差，即模型的稳定性Bias的计算估计μ:分布对于的离散程度(方差):Var的计算估计:下面这张图可以更直观地显示Bias和Variance的区别。Bias

migugu·2023-08-24 05:35

李宏毅机器学习笔记——16. Conditional Generation by RNN&Attention(RNN条件生成与注意力机制)

摘要：本章内容是讲解了Generation，Attention，TipsforGeneration，一是围绕用RNN实现Generation（生成）的方法与基本原理，先应用生成句子去介绍生成的基本原理，接着举例无条件的生成图片，其不同的是：将图片上的每个像素点看成一个word，并需要考虑各像素之间的几何关系，所以我们需要借助3D-LSTM完善了Generation图片功能。但是在实际应用中，我们的

HSR CatcousCherishes·2023-08-22 17:05

self attention 自注意力机制——李宏毅机器学习课程笔记

selfattention自注意力机制——李宏毅机器学习课程笔记假如我们要处理输入向量与输出向量个数一样多的问题，比如给定一个句子，每个单词都是一个向量，要判断并输出每个单词的词性，我们肯定要考虑到每个词与这个文本序列中其他词的相关性

赫兹H·2023-08-22 17:35

李宏毅机器学习（二）自注意力机制

学习内容本文以NLP为基础来介绍自注意力机制，而没有用图像为基础，但是其实两者都是相同的。在图像中我们可以将图像切块（块的划分是自定义的），然后计算块与块之间的关系；这里介绍了self-attention的由来的应用这里有几个问题需要说明：常问的：为什么是用dot-product来获取关系我的理解是，如果两个特征高度相关，那么这两个特征之间的相似元素必然很多，那么点积之后的值就会很大，也就是关系型

追赶早晨·2023-08-22 17:04

（笔记）李宏毅机器学习——自注意力，多头自注意力

自注意力Self-attention处理vactorsequence，考虑的是整个sequence的信息，并且输入多少个向量得到多少个label：首先是输入向量之间的相关度计算，视频中提到的方法如上，W是训练出来的矩阵。用上述方法计算出q，k值，从而整个输入序列向量与a1之间的相似度α。注意此处，输入向量a1也和自己计算相关度。得到输入向量之间的相关度后，使用一个sofmax进行了归一化处理得到注

一个阴天·2023-08-22 17:34

李宏毅机器学习学习笔记——自注意力机制

self-attention应用场景为什么要使用Self-attention?Self-attention计算过程PositionalEncodingSelf-attention的变体Multi-headSelf-attentionTruncatedSelf-attentionSelf-attention与其他神经网络的比较Self-attentionv.s.CNNSelf-attentionv.

jolando·2023-08-22 17:33

台大李宏毅自注意力机制和Transformer详解

【李宏毅机器学习2021】自注意力机制(Self-attention)(上)_哔哩哔哩_bilibili本文只是对self-attention的总结，transformer的总结见台大李宏毅自注意力机制和

溯源006·2023-08-22 17:33

【李宏毅机器学习】注意力机制

输出我们会遇到不同的任务，针对输出的不一样，我们对任务进行划分给多少输出多少给一堆向量，输出一个label，比如说情感分析还有一种任务是由机器决定的要输出多少个label，seq2seq的任务就是这种，翻译也是SequenceLabeling如果要考虑时序信息，每次可以选取前后固定长度的信息输入到fc层，但是运算量很大需要的参数也很多新的方法能考虑整个inputsequencefc专注处理某一个位

INGg__·2023-08-22 17:29

李宏毅机器学习视频part1-2

摘要：主要介绍为什么需要机器学习以及机器学习的bigpicture。1.为什么需要机器学习我们可以用很多if语句去指定规则，使得机器作出相应的行为，但是他的局限就在于，人很难考虑到所有的可能性，机器作出的所有行为都必定在人类可以考虑到的范围，那么这样子的机器就永远不可能超越人类。我们想要做的是让机器拥有自己学习和思考的能力，不局限于人类定制的规则。假设你要叫他学会做语音辨识，你就告诉它这段声音是“

0b9a4786fbaf·2023-08-16 23:21

李宏毅机器学习|图神经网络Graph Nerual Networks(GNN)|学习笔记

文章目录前言1Introduction2Roadmap3Spatial-basedGNNNN4G(NeuralNetworksforGraph)DCNN(Diffusion-ConvolutionNeuralNetwork)MoNET(MixtureModelNetworks)GAT(GraphAttentionNetworks)GIN(GraphIsomorphismNetwork)总结前言最近

亨少德小迷弟·2023-08-14 01:49

推荐频道

CH4-李宏毅机器学习