CH4-李宏毅机器学习第12页

2020李宏毅机器学习笔记——19. Transformer(全自注意力网络)

摘要：本章主要是介绍了Transformer(全自注意力网络)，首先通过sequence-to-sequence模型中的RNN存在问题——不能并行计算，CNN替换可以解决一部分问题，但也存在缺陷。是便引入了Self-AttentionLayer来替代RNN的sequence-to-sequence模型——Transformer，之后讲解Self-Attention的基本原理与具体过程。接着增加了一

HSR CatcousCherishes·2022-10-24 18:40

2022李宏毅机器学习深度学习学习笔记第五周--BERT

文章目录前言一、pre-train模型二、Howtofine-tune总结前言介绍什么是pre-train模型，有了模型后怎么做fine-tune以及pre-train模型怎么被训练出来。一、pre-train模型pre-train模型希望把输入的每一个token表示成一个embeddingvector，vector包含了token的语义，意思相近的token要有比较相近的embedding，em

hehehe2022·2022-10-24 18:36

2021/2022李宏毅机器学习笔记-Transform

Transformer就是一个Sequence-to-sequence的model,他的缩写,我们会写做Seq2seq,那Sequence-to-sequence的model,又是什么呢？我们之前在讲inputasequence的,case的时候我们说input是一个sequence,那output有几种可能●一种是input跟output的长度-样,这个是在作业二的时候做的●有一个case是ou

nousefully·2022-10-24 18:04

李宏毅机器学习笔记【未完】

李宏毅2021/2022春机器学习课程【《2021机器学习-李宏毅》学习笔记】一、机器学习1.机器学习基本概念找一个函数。深度学习：使用类神经网络的函数。可以有各式各样的输入：向量，矩阵（如图像），序列（如语音，文本）；也可以有各式各样的输出：数值（regression），类别（classification），文本图像…函数类别Regression（回归）：输出是一个数值（scalar）Class

AbyssssssssssS·2022-10-24 18:30

李宏毅机器学习2022春季-第五课和HW5

李宏毅2022课程视频全部以线上视频的形式给出（已经全部录好，你可以选择短时间全部学完），上课时间会直播讲解额外的内容（可以不听）和作业（建议一定要做），目前已更新到作业五。第五课主要内容是transformer，是目前自然语音处理、语音处理，甚至是图像处理中使用非常多的网络架构，详细内容见课程视频。课程视频：b站视频号：机器学习手艺人网址：https://www.bilibili.com/vid

机器学习手艺人·2022-10-19 19:13

2022李宏毅机器学习深度学习学习笔记第三周--transformer

文章目录摘要一、transformer的引入怎么做seq2seq模型encoder的架构decoderNon-autoregressive(NAT)二、总结摘要本文介绍的内容是transformer（全自注意力网络），它主要分成两块，encoder和decoder，并对encoder和decoder的架构分别作了解释，通过对比encoder和decoder的架构的不同之处，介绍了maskedsel

hehehe2022·2022-10-19 19:42

李宏毅机器学习笔记——Transformer

李宏毅机器学习笔记——Transformer本章主要是介绍了Transformer(全自注意力网络)：1.通过sequence-to-sequence模型中的RNN存在问题——不能并行计算，CNN替换可以解决一部分问题

NLP小白+·2022-10-19 19:41

【李宏毅机器学习2021】Task01 机器学习介绍

【李宏毅机器学习2021】本系列是针对datawhale《李宏毅机器学习-2022》的学习笔记。本次是对机器学习介绍的学习总结。

王多头发·2022-10-14 16:09

自注意力机制（self-attention）

B站视频-李宏毅机器学习2021-自注意力机制1.要解决的问题当把输入看成一个向量，输出是数值或者类别。但是如果遇到更复杂的问题呢？假设输入是多个向量，而且数目不固定，要怎么处理呢？

oyou-2021·2022-10-12 22:31

2020李宏毅机器学习笔记-More about Auto-encoder

目录摘要1.MoreaboutAuto-Encoder1.1Whatisgoodembedding1.2BeyondReconstruction：Discriminator2.SequentialData2.1Skipthought2.2Quickthought2.3ContrastivePredictiveCoding(CPC)3.FeatureDisentangle(特征解耦)3.1Featu

ZN_daydayup·2022-10-10 10:36

李宏毅机器学习28——more about auto-encoder

摘要：上节课讲了auto-encoder，这节课更详细的学习auto-encoder。主要从两个角度来学习。一是衡量encoder好坏的其他方法。与minimizereconstructionerror不同，这里引入了判别式模型，来衡量embedding和输入的密切程度。通过训练encoder中的参数和判别式模型中的参数，来找到最合适的encoder。二是对embedding的解释。为了让embe

zeng-233·2022-10-10 10:35

李宏毅机器学习27—Unsupervised learning auto-encoder

Unsupervisedlearningauto-encoder摘要：auto-encoder是针对无监督学习，缺失label的数据无法训练而发明的一种方法，简单来说，就是将数据转换成code，再将code转换成数据，minimize前后数据的差别，进而达到降维的目的当auto-encoder有多个隐藏层时，就转换成了deepauto-encoder，deepauto-encoder会比一般的PC

zeng-233·2022-10-10 10:04

2020李宏毅机器学习笔记——22.More about Auto-encoder（自动编码器）

MoreaboutAuto-encoder文章目录摘要1.（最小化重构误差）minimizingreconstructionerror1.1回顾Auto-encode2.评估encoder2.1Whatisgoodembedding？2.2BeyondReconstruction：Discriminator2.3Typicalauto-encoderisaspecialcase3.auto-enc

HSR CatcousCherishes·2022-10-10 10:03

李宏毅机器学习2016 第十四讲深度自编码器

视频链接：李宏毅机器学习(2016)_演讲•公开课_科技_bilibili_哔哩哔哩课程资源：Hung-yiLee课程相关PPT已经打包命名好了：链接：https://pan.baidu.com/s/1c3Jyh6S

Joe-Peng_hitsz·2022-10-10 10:01

2021李宏毅机器学习课程笔记——Auto Encoder

注：这个是笔者用于期末复习的一个简单笔记，因此难以做到全面详细，有疑问欢迎大家在评论区讨论https://speech.ee.ntu.edu.tw/~hylee/ml/ml2021-course-data/auto_v8.pptxI.BasicIdea简单来说，AutoEncoder就是一个Encoder+Decoder的架构。Encoder负责将图片给编码为向量，而Decoder负责将向量给解码

xiongxyowo·2022-10-10 10:00

李宏毅机器学习笔记——自编码器(Auto-encoder)

概念自编码器（autoencoder,AE）是一类在半监督学习和非监督学习中使用的人工神经网络（ArtificialNeuralNetworks,ANNs），其功能是通过将输入信息作为学习目标，对输入信息进行表征学习（representationlearning）。自编码器包含编码器（encoder）和解码器（decoder）两部分。Self-supervisedLearning自监督学习self

vincewm·2022-10-10 10:00

李宏毅机器学习（八）自编码器（Auto-encoder）

前情提要什么自监督学习？做不需要标注资料的任务，比如做填空题，比如预测下一个任务！这个时候我们只需要对在自监督中训练的模型进行fine-tune就可以用在下游任务中了！但是在不需要标注的数据之前呢，在BERT、self-supervisedlearning之前有一个工具叫做Auto-Encoder！也是不需要标注的数据的。Auto-Encoder怎么运作的？它是一个无监督的，不需要任何标注资料的任

追赶早晨·2022-10-10 10:58

李宏毅机器学习笔记第15周_自编码器（Auto-encoder）

文章目录前言一、BasicIdeaofAuto-encoder二、FeatureDisentanglement三、DiscreteLatentRepresentation四、MoreApplications总结前言自编码器（Auto-encoder）是一种能够通过无监督学习，学习到输入数据高效表示的人工神经网络。本文会简要地说明什么是自编码器（Auto-encoder），以及会介绍到自编码器（Au

MoxiMoses·2022-10-10 10:28

2021李宏毅机器学习笔记--19 unsupervised learning--Deep Auto-encoder

2021李宏毅机器学习笔记--19unsupervisedlearning--DeepAuto-encoder摘要一、Auto-encoder简介二、与PCA的联系三、DeepAuto-encoder四

guoxinxin0605·2022-10-10 10:51

【李宏毅机器学习】自编码器auto-encoder

文章目录一、auto-encoder二、自编码器的应用2.1FeatureDisentangle2.2TextasRepresentation（学会产生摘要）2.3AnomalyDetection（欺诈检测）三、HW8：FCNauto-encoder四、VAEs在推荐系统的应用Reference附：时间安排一、auto-encoderautoencoder是一个基本的生成模型，以encoder-d

山顶夕景·2022-10-10 10:49

AI学习路线

spm_id_from=333.337.search-card.all.click经典的李宏毅机器学习课程，学完就很厉害了。

出尘呢·2022-10-07 19:14

李宏毅机器学习26—Anomaly Detection

AnomalyDetection异常侦测这节课学习了异常侦测，通俗来讲，就是让机器识别出与训练集不同的异常输入。anomalydetection的主要想法就是将正常数据与异常数据进行分类anomalydetection分为两大类：训练数据有label和训练数据无label。对于有label这类，做法是将x输入给分类器，得到一个信心分数，用信心分数的大小，来评价数据是否异常。同时，针对不同的需求，评

zeng-233·2022-09-20 16:52

2020李宏毅机器学习笔记——24. Anomaly Detection（异常侦测）

AnomalyDetection（异常检测）文章目录摘要1.介绍AnomalyDetection1.1ProblemFormulation（问题简要）1.2WhatisAnomaly?1.3Applications2.怎么做AnomalyDetection2.1BaseIdea—BinaryClassification（二元分类器）2.2AnomalyDetection—Categories（两种

HSR CatcousCherishes·2022-09-20 16:21

2021李宏毅机器学习笔记--21 Anomaly Detection

2021李宏毅机器学习笔记--21AnomalyDetection（异常侦测）摘要一、问题描述二、Anomaly异常三、AnomalyDetection（异常侦测）做法3.1BinaryClassification

guoxinxin0605·2022-09-20 16:17

深度学习Deep Learning学习笔记——卷积神经网络CNN

笔记参考李宏毅机器学习课程一、CNN基本结构二、CNN用于图像处理只需要较少的参数就能进行影像处理。

待落灯花·2022-09-10 07:20

2020李宏毅机器学习笔记-Unsupervised Learning: Deep Auto-encoder

目录摘要1.Introduction2.ComparewithPCA3.DeepAuto-encoder3.1MultiLayer3.2Visualize4.TextRetrieval4.1Bag-of-word4.2Auto-encoder5.SimilarImageSearch6.CNNasEncoder6.1Unpooling6.2Deconvolution总结和展望摘要文节主要介绍了自编码

ZN_daydayup·2022-08-30 07:35

2020李宏毅机器学习笔记——21. Unsupervised Learning-Deep Auto-encoder(无监督学习之自编码器)

摘要：本章主要是关于自编码器的原理及其应用，自编码器是一种无监督学习方法，可用于数据降维及特征抽取。其中自编码器由编码器（Encoder）和解码器（Decoder）两部分组成。编码器通常对输入对象进行压缩表示，解码器对经压缩表示后的code进行解码重构。Auto-encoder还可以对模型进行预训练，得到好的模型初始化的参数。以及Auto-encoder可以对数据进行降维处理，且降维后的数据可以很

HSR CatcousCherishes·2022-08-30 07:00

李宏毅机器学习笔记p5-p8：误差和梯度下降

文章目录前言误差Error偏差Bias偏差过大方差Variance方差过大选择平衡偏差和方差的模型N-折交叉验证梯度下降调整学习率1.固定学习率2.自适应学习率——Adagrad随机梯度下降特征缩放梯度下降的理论基础总结前言这篇开始涉及到了我未涉及的领域，也算是机器学习的慢慢深入，虽然知识点是新的，但通过视频和笔记，还是基本可以理解透彻。提示：以下是本篇文章正文内容，下面案例可供参考误差Error

鸿鹄一夏·2022-08-25 07:32

李宏毅机器学习笔记：新版p5-p9网络设计的技巧

文章目录前言局部最小值和鞍点鉴别方法批次batch和动量momentumbatchsmallbatch和largebatchmomentum自动调整学习率warmup分类softmax()分类下所用的loss批次标准化featureNormalizationtesting总结前言在学习完之后，我发现整个前面的学习过程相当于给我们搭建了一整个框架。而这五章的学习，相当于查漏补缺提升，让我们更加熟悉里

鸿鹄一夏·2022-08-25 07:32

李宏毅机器学习（2021版）_P5-6：小梯度处理

北海虽赊，扶摇可接·2022-08-25 07:00

李宏毅机器学习-task2

学习视频内容：观看观看李宏毅课程内容：P4、P5、P6、P7视频连接：https://www.bilibili.com/video/av35932863?from=search&seid=8120828691691969718学习打卡内容：理解偏差和方差学习误差为什么是偏差和方差而产生的，并且推导数学公式过拟合，欠拟合，分别对应bias和variance什么情况学习鞍点，复习上次任务学习的全局最优

Angela一缕阳光·2022-08-25 07:59

李宏毅机器学习--Tips for training

目录criricalpointmeansgradient=0判断**criticalpoint**是**localminima**还是**saddlepoint**？卡在saddlepoint时参数update的方向？saddlepointvs.localminimasmallbatchsizeandmomentumhelpescapecriticalpointBatchMomentumAdapt

迷迷糊糊本人·2022-08-25 07:26

李宏毅机器学习-P5误差来自哪里

偏差和方差估计欠拟合、过拟合与偏差、方差的关系如何解决过拟合问题模型选择前提：第iii个空间下对应一组数据{(x1,y),(x2,y),...,(xn,y)}\{(x_1,y),(x_2,y),...,(x_n,y)\}{(x1,y),(x2,y),...,(xn,y)},我们设计一组函数集{fi∣fi=wix+bi,i=1,...,n}\{f_i|f_i=w_ix+b_i,i=1,...,n\}

韩向上·2022-08-25 07:19

李宏毅机器学习P13+P5+6+7+8+9(21版)学习笔记

P13深度学习1.神经网络由不同的逻辑回归函数（不同权重和偏差）连接而成不同结构输入层（InputLayer）：1层隐藏层（HiddenLayer）：N层输出层（OutputLayer）：1层FullyConnectFeedforwardnetworkFullyConnect：layer1与layer2之间两两都有连接。传递的方向是单向，由后往前传，所以叫Feedforward。深度学习能表达出更

笑我有病·2022-08-25 07:49

李宏毅机器学习P5-8学习笔记

P5误差来源一、误差来源于两方面：1：偏差—准:根据样本拟合的模型输出预测结果的期望与样本真实结果的差距，即在样本上拟合的好不好。要求lowbias，则需要复杂化模型或增加模型的参数，这容易过拟合(overfitting)，过拟合则为highvariance，点很分散。2：方差—确:样本上训练出来的模型在测试集上的表现，即点的集中性。lowvarience需要简化模型，减少模型的参数，但容易欠拟合

笑我有病·2022-08-25 07:49

李宏毅机器学习 p5(pytorch 1)学习笔记

框架对比训练过程tensor:张量这个词物理上数学上有一堆定义。可以看知乎上大佬们的解释，我没看懂。先按照老师说的在深度学习里，是一个多维数组来理解，看图更直观些。datatype:存放的数据类型，浮点、长整型tensor的属性：rank：numberofdimensionsshape:numberofrowsandcolumnstype:datatypeoftensor'selementsten

bohu83·2022-08-25 07:47

李宏毅机器学习复习——第一章：机器学习介绍

机器学习的流程机器学习就是寻找一个函数，在函数中输入数据，最终会得到预期的函数值。这么一个简单的过程。数据的范围很广泛，可以理解为可数据化的信息。机器学习的分类：按照学习方式基本分为5大类：监督学习，半监督学习，无监督学习，迁移学习和强化学习。将监督学习，再细分为回归问题和分类问题。根据解决对应问题的方法，细分到线性模型，深度学习，支持向量机，K近邻，决策树。思维导图如下所示

1静1一·2022-08-12 15:08

李宏毅机器学习笔记-深度学习

李宏毅机器学习笔记-深度学习1深度学习的三个步骤deeplearning与机器学习类似，也有3个步骤：Step1：神经网络（Neuralnetwork）Step2：模型评估（Goodnessoffunction

零露_·2022-07-29 07:21

李宏毅机器学习2020春季作业三hw4

文章目录作业介绍1、util2、TrainWordtoVector3、DataPreprocess(数据预处理)4、Dataset（创建该类方便使用dataloader）5、model6、train7、test8、main函数参考文章：本文的原理及部分内容参考于大佬：https://blog.csdn.net/iteapoy/article/details/105931612老师的标准参考答案，需

Nefu_lyh·2022-07-28 07:43

[Datawhale-李宏毅机器学习-39期]-001-机器学习介绍

两周熟悉基础知识，搞定秋招。本以为是吃瓜教程，报了个李宏毅老师的机器学习教程，来都来了是吧，3元上车。课程流程：第一节课主要内容三类任务：回归分类结构化学习（不懂）四种学习：有监督学习无监督学习半监督学习强化学习（好奇，没搞过，奖励机制咋设置的）问题：自监督学习咋算感悟越来越觉得在实际应用中，数据才是最重要的，需要围绕数据做其他的工作。

deyiwang89·2022-07-12 07:47

李宏毅机器学习2021——Optimization（最优化）

一、Theprobleminoptimizationgradient趋于0，到达criticalpoint（临界点）（一）两种情况卡在localminima（局部最小），并不是很常见卡在saddlepoint（鞍点，微分为0）（二）鉴别两种情况byTaylorSeries二、Howtogetoptimization？（一）单个参数（单维）针对一个w在update过程中卡住的问题，可以尝试的改进思路

thisissally·2022-07-10 12:17

【课程笔记】李宏毅机器学习[10]：Convolutional Neural Network

本系列课程笔记为李宏毅2017,秋，台湾大学课程。视频网址链接：https://www.bilibili.com/video/av15889450/?p=19&t=1114更新日期：20200208CNN流程CNN应用![在这里插入图片描述](https://img-blog.csdnimg.cn/20200209120052633.png?x-oss-process=image/watermar

tjwyj·2022-06-25 07:22

李宏毅机器学习作业3——Convolutional Neural Network

本作业来源于李宏毅机器学习作业说明，详情可看Homework3-ConvolutionalNeuralNetwork(友情提示，可能需要)作业要求作业要求：在收集来的资料中均是食物的照片，共有11类，Bread

迷雾总会解·2022-06-25 07:50

李宏毅机器学习课程梳理【八】：Convolutional Neural Network(CNN)

文章目录摘要1CNN1.1理解Convolution1.2MaxPooling1.3Flatten&FullyConnectedFeedforwardNetwork2CNNinKeras3分析CNN的学习过程3.1分析Filter的工作3.2分析Neuron的工作3.3分析Output层4DeepDream&DeepStyle5总结与展望摘要上一篇文章介绍了基于三条观察的CNN架构，本篇文章介绍C

-Emmie·2022-06-25 07:50

深度学习笔记七：循环神经网络RNN(基本理论)

RECURRENTNEURALNETWORKSTUTORIAL,PART1–INTRODUCTIONTORNNSACriticalReviewofRecurrentNeuralNetworksforSequenceLearning李宏毅机器学习

喜欢打酱油的老鸟·2022-06-23 22:40

2020李宏毅机器学习笔记-Generative Adversarial Network - Theory behind GAN

目录摘要1.TheorybehindGAN2.MaximumLikelihoodEstimation3.MLE=MinimizeKLDivergence4.Generator5.Discriminator6.GDAlgorithmforGAN7.AlgorithmforGAN（Review）结论与展望摘要从某种意义上来讲,GAN图片生成任务就是生成概率分布。因此,我们有必要结合概率分布来理解GAN

ZN_daydayup·2022-06-18 07:09

2020李宏毅机器学习笔记-Transfer Learning

目录摘要IntroduceWhyNeed？TargetDatalabelled&SourceDatalabelledModelFine-tuningConservativeTrainingLayerTransferMultitaskLearningProgressiveNeuralNetworksTargetDataunlabelled&SourceDatalabelledDomain-adver