李宏毅机器学习笔记

李宏毅机器学习笔记——元学习Meta Learning

元学习MetaLearning：学习如何去学习。learntolearn.机器学习步骤总结第一步：第二步：第三步：元学习是什么输入训练资料，通过方法，进行训练。学习这个方法。利用以往的知识经验来指导新任务的学习，具有学会学习的能力。hand_crafted是人设定的意思。元学习步骤第一步：寻找方法要学的参数是Φ。之前这些component都是人定的，元学习里是求这些component.第二步：计算
vincewm·2022-12-11 04:51

李宏毅机器学习笔记——深度学习介绍及反向传播

深度学习介绍及反向传播深度学习的三个步骤第一步——定义模型（NN）第二步——定义模型的好坏第三步——找到较优模型反向传播链式法则具体细节深度学习的三个步骤与之前的回归内容一样，可以概括为三个步骤。第一步——定义模型（NN）像神经元一样，设置输入层、隐藏层和输出层。层与层之间的权重我们用θ\thetaθ表示。“简单来说，深度学习就是有很多个隐藏层的神经网络。”全连接是连接不同的神经元一种方式。当前层
Brandon1017·2022-12-11 04:20

李宏毅机器学习笔记5：CNN卷积神经网络

李宏毅老师的机器学习课程和吴恩达老师的机器学习课程都是都是ML和DL非常好的入门资料，在YouTube、网易云课堂、B站都能观看到相应的课程视频，接下来这一系列的博客我都将记录老师上课的笔记以及自己对这些知识内容的理解与补充。(本笔记配合李宏毅老师的视频一起使用效果更佳！）Lecture7:CNN目录一、CNN的引入二、CNN的层次结构三、CNN的小Demo加深对CNN的理解四、CNN的特点在学习
weixin_34066347·2022-12-10 06:26

李宏毅机器学习笔记Day7——批次标准化

批次标准化（BatchNormalization）也是训练神经网络的一个tip。复杂的errorsurface：不同的dimension的数值范围相差很大，要将这些数值范围变得相同，将errorsurface变得比较简单。featurenormalization在深度学习中，对z也要做featurenormalization，当network很大时，可以考虑为一个batch，只在一个batch做f
RosieDragon·2022-12-06 11:39

DW李宏毅机器学习笔记—Task05（五）—批次标准化（Batch Normalization）简介

文章目录前言ChangingLandscapeFeatureNormalizationFN计算方法ConsideringDeepLearning标准化中间结果TestingBatchnormalization在CNN中的应用BN就是唯一的办法？总结前言这是我在Datawhale组队学习李宏毅机器学习的记录，既作为我学习过程中的一些记录，也供同好们一起交流研究，之后还会继续更新相关内容的博客。Cha
湘玄书生·2022-12-06 11:05

李宏毅机器学习笔记—第二节—When gradient is small

1.局部最小值和鞍点（LocalMinimumAndSaddlePoint）这一小节的部分属于Optimization，因此只讨论对于gradientdescent的情况。我们在Optimization的时候，总会发现一个问题，就是说随着你的数据的updata，loss并没有达到你的预期。通俗的来说就是loss的降不下去。过去常见的一个猜想,是因为我们现在走到了一个地方，这个地方参数对loss的微
菅田将暉_·2022-12-06 11:04

李宏毅机器学习笔记—第二节—General Guidance

本节一开始是讲解了关于以后作业的内容，再次不做过多的说明。目录Lossontrainingdata——large1.modelbias2.optimization3.Solution1.Gainingtheinsightsfromcomparison2.Startfromshallowernetworks(orothermodels),whichareeasiertotrain.3.Ifdeepe
菅田将暉_·2022-12-06 11:34

Batch Normalization——李宏毅机器学习笔记

BatchNormalization详细可见paper《BatchNormalization:AcceleratingDeepNetworkTrainingbyReducingInternetCovariateShift》，2015FeatureScaling（特征缩放）/FeatureNormalization（引言）Makedifferentfeatureshavethesamescaling
我是小蔡呀～～～·2022-12-06 11:01

李宏毅机器学习笔记（）Transfer Learning

一、transferlearningtargetdata：现在要考虑的task直接相关。sourcedata：和现在要考虑的task没有直接关系。四种可能：有label和无label。二、fine-tuningtargetdata和sourcedata同时都有label。targetdata量非常少（叫做one-shotlearning），sourcedata很多。某个人的语音很少。用source
处女座程序员的朋友·2022-12-05 19:04

2020李宏毅机器学习笔记- Meta Learning

目录摘要IntroductionMetaLearning的建模思路第一步第二步第三步TechniquesTodayMAMLMAMLvsModelPre-trainingReptileMAMLvsModelPre-trainingvsReptile结论与展望摘要元学习的训练样本和测试样本都是基于任务的。通过不同类型的任务训练模型，更新模型参数，掌握学习技巧，然后举一反三，更好地学习其他的任务。传统的
ZN_daydayup·2022-12-05 10:40

2020李宏毅机器学习笔记-Generative Adversarial Network - Unsupervised Conditional Generation

目录摘要1.UnsupervisedConditionGAN2.UnsupervisedConditionalGeneration2.1DirectTransformation2.1.1利用判别网络2.1.2利用预训练网络2.1.3CycleGAN2.2ProjectiontoCommonSpace2.2.1共享参数2.2.2增加判别网络2.2.3ComboGAN(CycleConsistency
ZN_daydayup·2022-12-05 09:52

李宏毅机器学习笔记

截图来自李宏毅2020机器学习深度学习。有监督学习supervisedlearning需要提供一些有目标值的数据给机器去学习。用loss来判断函数的好坏，loss越小函数越符合我们的期待。reinforcementlearning强化学习，机器自主进行学习。（AlphaGo是supervisedlearning+reinforcementlearning）unsupervisedlearning无
FF_y·2022-12-05 09:20

李宏毅机器学习笔记第6周_机器学习任务攻略

文章目录一、FrameworkofML二、GeneralGuide三、Modelbias四、OptimizationIssue五、Overfitting六、CrossValidation七、N-foldCrossValidation八、Mismatch一、FrameworkofML1）给你一堆训练的资料，这些训练资料里面中包含n个x和跟它对应的ŷ，测试集是你只有x，没有ŷ。2）这里的好几个案例其实
MoxiMoses·2022-12-04 21:36

深度学习的三个主要步骤！

↑↑↑关注后"星标"Datawhale每日干货&每月组队学习，不错过Datawhale干货作者：屈太国，湖南大学，Datawhale优秀学习者本文来自李宏毅机器学习笔记（LeeML-Notes）组队学习
Datawhale·2022-12-04 20:12

李宏毅机器学习笔记第11周_Recurrent Neural Network

文章目录一、ExampleApplication二、ElmanNetwork&JordanNetwork三、BidirectionalRNN四、LongShort-termMemory（LSTM）五、LSTM–Example六、LearningTarget1.LossFunction2.Training3.Errorsurface七、Why?八、HelpfulTechniques九、MoreApp
MoxiMoses·2022-12-02 20:25

2021李宏毅机器学习笔记--9 Recurrent Neural Network

2021李宏毅机器学习笔记--9RecurrentNeuralNetwork摘要一、RNN1.1SlotFilling1.2RNN二、DeepRNN三、RNN变型3.1Elmannetwork3.2Jordannetwork3.3bidirectionalRNN
guoxinxin0605·2022-12-02 20:13

李宏毅机器学习笔记第16周_机器学习的可解释性（Explainable ML）

文章目录前言一、WhyweneedExplainableML?二、LocalExplanation:ExplaintheDecision1.Whichcomponentiscritical?2.Limitation:NoisyGradient3.Limitation:GradientSaturation4.Howanetworkprocessestheinputdata?三、GlobalExpla
MoxiMoses·2022-12-01 19:40

李宏毅机器学习笔记：CNN和Self-Attention

前言本文主要记录关于李宏毅机器学习2021中HW3和HW4的卷积神经网络和自注意力机制网络部分的笔记，主要介绍了CNN在图像领域的作用及如何处理图像数据，Self-Attention在NLP(自然语言处理)领域的作用和处理词之间的关系。一、CNN卷积神经网络CNN处理图像的大致步骤前面介绍的FCN全连接神经网络是通过把一维的向量不断通过中间的隐藏层的multi和bias最后输出指定列数的vecto
YuriFan·2022-12-01 02:45

李宏毅机器学习笔记第12周_自注意力机制（Self-attention）

文章目录一、SophisticatedInput二、VectorSetasInput三、Whatistheoutput?四、SequenceLabeling五、Self-attention六、Self-attention七、Multi-headSelf-attention八、PositionalEncoding九、Manyapplications1.Self-attentionforSpeech2
MoxiMoses·2022-12-01 02:44

2021/2022李宏毅机器学习笔记-self attention

sophisticatedInput到目前為止我们的Network的Input都是一个向量不管是在预测这个,YouTube观看人数的问题上啊,还是影像处理上啊,我们的输入都可以看作是一个向量，然后我们的输出，可能是一个数值,这个是Regression,可能是一个类别,这是Classification但假设我们遇到更復杂的问题呢,假设我们说输入是多个向量，而且这个输入的向量的数目是会改变的呢我们刚才
nousefully·2022-12-01 02:13

李宏毅机器学习笔记-----Self-Attention

目录1.1self-attention-过程实现1.2Self-attention中的并行运算1.3Multi-headSelf-attention1.4PositionEncoding1.5Self-attentionforImage1.6Self-attentionvsCNN1.1self-attention-过程实现q表示queryk表示keyv表示information第一步：由a得到a^
香菇炸酱面·2022-12-01 02:12

2021李宏毅机器学习笔记

什么是机器学习？MachineLearning≈LookingforFunction常见的函数类型：Regression(回归):Thefunctionoutputsascalar(数值).Classification(分类)：Givenoptions(classes),thefuctionoutputsthecorrectone.模型训练策略（检查loss值）：在这里顺便说一下Epoch，Bat
不想学习的打工人·2022-11-30 19:17

Self-attention自注意力机制——李宏毅机器学习笔记

self-attention想要解决的问题复杂的输入每次输入的length不同时，即VectorSet大小不同，该如何处理？one-hotencoding，缺点：所有的词汇之间没有语义资讯。wordembedding，会给每一个词汇一个向量，一个句子则是一排长度不一的向量，具有语义资讯。1min便有6000个frame输出是什么？（1）Eachvectorhasalabel(2)Thewholes
我是小蔡呀～～～·2022-11-29 07:31

通俗易懂——VAE变分自编码器原理

变分自编码器（VariationalAutoEncoder,VAE）李宏毅机器学习笔记。转载请注明出处。
BarbaraChow·2022-11-28 13:22

李宏毅机器学习笔记——误差与梯度下降

思维导图一览误差从哪儿来？误差一般来源于bias和variance。问题的来源是搞清楚bias有多大，variance有多大。variance由下图也可以看出：简单的模型得出的variance比较小，但bias会比较大。而复杂的模型得出的bias比较小，但variance比较大。同时简单的模型不容易受到数据的外在因素(如噪音)的干扰。直观可以理解为：假如y=b。则这个模型不论数据是什么样的都是一条
QwQQQ_·2022-11-28 12:25

李宏毅机器学习笔记整理Day1

概念为主，从大框架上讲述ML。不难。以前听过并且记过笔记，现在可以结合笔记再听一遍。吃老本挺香。等深入学习以后可以结合思维导图和更详细的笔记。
QwQQQ_·2022-11-28 12:25

李宏毅机器学习笔记03-误差和梯度下降

Error的来源从上节课测试集数据来看，AverageErrorAverage\ErrorAverageError随着模型复杂增加呈指数上升趋势。更复杂的模型并不能给测试集带来更好的效果，而这些ErrorErrorError的主要有两个来源，分别是biasbiasbias和variancevariancevariance。然而biasbiasbias和variancevariancevarianc
hifuture_·2022-11-28 07:38

李宏毅机器学习笔记——回归

回归笔记回归使用场景预测步骤第一步——确定模型的集合第二步——模型好坏的判断第三步——梯度下降改进模型回归使用场景股票预测：输入：历史股票价格等输出：明日或以后股票的价格或平均值自动驾驶：输入：场景信息、信号输出：方向盘角度推荐系统：输入：使用者信息、商品信息输出：购买可能性课内使用案例：预测宝可梦进化后的战斗力（CP）输入：进化前的CP，种类，HP，重量，高度预测步骤第一步——确定模型的集合线性
Brandon1017·2022-11-28 07:04

李宏毅机器学习笔记——误差与梯度下降

误差与梯度下降误差的来源VarianceBias小结交叉验证梯度下降学习率自动调整学习率随机梯度下降特征缩放（FeatureScaling）梯度下降原理误差的来源训练得到的模型f∗f^*f∗和真实的模型f^\hatff^之间的距离（差距）就是Bias+Variance。Variance于是可以得到规律：简单的模型的Variance比较小，而复杂的模型的Variance比较大。因为简单的模型受不同的
Brandon1017·2022-11-28 07:04

李宏毅机器学习笔记——概述与介绍

介绍及概述笔记机器学习机器学习介绍机器学习流程学习总览监督学习回归Regression分类Classification二元分类多分类半监督学习、迁移学习无监督学习结构化学习强化学习机器学习机器学习介绍人工智能是目标，机器学习是手段，深度学习是一种方法。机器学习是从数据中寻找一个或若干个规律/函数，并根据新的数据作出相对的回应。机器学习流程学习总览监督学习回归Regression提供数据，找到合适的
Brandon1017·2022-11-27 02:30

李宏毅机器学习笔记：回归 ——梯度下降法 过拟合 正则化

李宏毅机器学习笔记：回归——梯度下降法过拟合正则化学习笔记总结：源学习笔记链接:https://datawhalechina.github.io/leeml-notes/#/chapter3/chapter3
麻麻在学习·2022-11-26 19:23

卷积神经网络——李宏毅机器学习笔记

以ImageClassification为例第一个解释角度：先将不同尺寸的image，rescale成大小一样的尺寸，再丢到model中。下图中，我们希望Crossentropy越小越好在计算机视角下的图片：3channels对应RGB三个通道随着模型参数的增多，全连接层网络的弹性越大，overfitting的风险越大那么怎么避免在做图像识别参数过多的问题？我们没有必要考虑每一个neuron跟in
麻辣兔头·2022-11-26 17:11

李宏毅机器学习笔记——Anomaly Detection（异常侦测）

目录异常检测概述AnomalyDetection分类异常侦测不是一个单纯的二元分类问题两种类别数据存在标签训练验证集和评估分类modelPossibleIssuesWithoutlabel（无标签的数据）问题定义具体做法Auto-encoder做异常检测总结异常检测概述对于异常检测任务来说，我们希望能够通过现有的样本来训练一个函数，它能够从数据中学习到某些正常的特征，根据输入与现有样本之间是否足够
iwill323·2022-11-26 10:16

DW李宏毅机器学习笔记--Task02-回归

文章目录前言回归定义模型步骤Step1：模型假设-线性模型一元线性模型（单个特征）多元线性模型（多个特征）Step2：模型评估-损失函数如何判断众多模型的好坏Step3：最佳模型-梯度下降梯度下降推演最优模型的过程梯度下降算法在现实世界中面临的挑战w和b偏微分的计算方法如何验证训练好的模型的好坏更强大复杂的模型：1元N次线性模型过拟合问题出现步骤优化Step1优化：2个input的四个线性模型是合
湘玄书生·2022-11-25 12:20

DW李宏毅机器学习笔记--Task04（上）-深度学习简介

文章目录前言深度学习的发展历程深度学习的三个步骤Step1：神经网络网络结构完全连接前馈神经网络全链接和前馈的理解深度的理解矩阵计算Step2:模型评估Step3：选择最优函数思考隐藏层越多越好？普遍性定理总结前言这是我在Datawhale组队学习李宏毅机器学习的记录，既作为我学习过程中的一些记录，也供同好们一起交流研究，之后还会继续更新相关内容的博客。深度学习的发展历程先回顾一下deeplear
湘玄书生·2022-11-25 12:20

DW李宏毅机器学习笔记--Task05（一）-局部最值与鞍点

文章目录前言最优化失败的原因如何区分局部最值和鞍点泰勒级数近似判断方法为什么遇到鞍点时不用害怕呢？Saddlepointv.s.LocalMinima总结前言这是我在Datawhale组队学习李宏毅机器学习的记录，既作为我学习过程中的一些记录，也供同好们一起交流研究，之后还会继续更新相关内容的博客。最优化失败的原因如图所示，在梯度下降中，Loss应该不断下降并达到一个最小值。但在我们训练中，有可能
湘玄书生·2022-11-25 12:20

李宏毅机器学习笔记-2022spring

机器学习笔记文章目录机器学习笔记Lecture1Colab的使用机器学习的基本概念一个简单的例子1.方程的设立2.定义损失函数3.优化参数（Loss最小）对上例的改进Hardsigmoid多层的神经网络Lecture2调优模型的思路训练数据Loss过大训练数据Loss过小局部最小值与鞍点鞍点局部最小值训练技巧（Batch&Momentum）自动调整学习速率RMS(RootMeanSquare,均方
jwj1342·2022-11-25 07:03

李宏毅机器学习笔记——基本概念

一句话描述机器学习：让机器具备一个函式的能力。MachineLearning约等于LookingforFunction。应用：在speechrecognition中识别语言，在imagerecognition中识别图片中动物，在playinggo中识别下一步落子。机器学习任务：regression，classification，structuredlearningregression回归分析：找到
vincewm·2022-11-24 18:47

2020李宏毅机器学习笔记- Life Long Learning

目录摘要KnowledgeRetentionExample–ImageElasticWeightConsolidationEWCvsL2vsSGDGeneratingDataKnowledgeTransferGradientEpisodicMemoryModelExpansionProgressiveNeuralNetworksNet2NetCurriculumLearning结论与展望摘要终身学
ZN_daydayup·2022-11-24 10:45

2020李宏毅机器学习笔记— 9. Recurrent Neural Network（RNN循环神经网络）

文章目录摘要1.Introduction（引入）1.1SlotFilling1.2把词用向量来表示的方法1-of-Nencoding/one-hotBeyond1-of-Nencoding1.3存在的问题2.RecurrentNeuralNetwork（RNN）2.1RNN的特性2.2Example2.3RNN处理slotsfilling问题2.4RNN有不同的变形2.5Bidirectional
HSR CatcousCherishes·2022-11-24 10:14

李宏毅机器学习笔记——深度学习

思维导图本节课由机器学习过渡到深度学习。如果理解了机器学习的原理及算法的三步骤，就可以很自然地将ML的内容迁移到DL中。因为ML与DL的学习步骤是完全一样的。最大的区别就是DL的学习函数变成了含有许多层的隐藏层。神经网络神经网络的最基本的单位叫做神经元。每一个神经元中都包含有一个函数(如sigmoid函数)。特征输入作为输入层（inputlayer），输入后与参数w和偏差b进行结合(如：wx+b)
QwQQQ_·2022-11-24 10:42

李宏毅机器学习笔记Day6——神经网络训练技术

训练技术：AdaptiveLearningRate当parameters在criticalpoint附近时，Loss已经很小时（trainingsstuck），gradient并没有很小。Learningrate不能是one-size-fits-all，不同的参数需要不同的Learningrate，引入Parameterdependent。Rootmeansquare：用在Adagrad里。坡度小
RosieDragon·2022-11-24 10:38

李宏毅机器学习笔记——神经网络设计的技巧

神经网络设计的技巧极小值与鞍点数学工具鞍点与局部最小值批次（Batch）与动量（Momentum）Batch为什么要用batchMomentum自适应学习率AdaptiveLearningRate根号平方根RootMeanSquareRMSPropAdam分类ClassificationOne-hot编码LossFunctionBatchNormalizationFeatureNormalizat
Brandon1017·2022-11-24 10:59

李宏毅机器学习笔记Day3——梯度下降

1.梯度下降的主要步骤大概可以总结为一个设置参数，在不断通过求梯度不断更新参数的过程。2.梯度下降的tips（1）调learningrate我们可以看到Loss的变化调learningrate的情形与方法Adagrad：每个参数分开考虑，其中要考虑rootmeansquare（2）StochasticGradientDescent与GradientDescent相比，只考虑一个xn，要更新很多次参
RosieDragon·2022-11-24 07:46

李宏毅机器学习笔记：Brief Introduction of Deep Learning + Backpropagation(后向传播算法)

李宏毅老师的机器学习课程和吴恩达老师的机器学习课程都是都是ML和DL非常好的入门资料，在YouTube、网易云课堂、B站都能观看到相应的课程视频，接下来这一系列的博客我都将记录老师上课的笔记以及自己对这些知识内容的理解与补充。(本笔记配合李宏毅老师的视频一起使用效果更佳！）Lecture6:BriefIntroductionofDeepLearning本节课主要围绕DeepLearing三步骤：（
TravelingLight77·2022-11-22 18:55

李宏毅机器学习笔记_task2_回归

回归回归定义回归即是输入特征,训练机器对目标值的拟合能力,在传统线性回归当中,目标值为数值型变量,有回归变种例如逻辑回归,目标值为分类变量应用举例股市预测（Stockmarketforecast）输入：过去10年股票的变动、新闻咨询、公司并购咨询等输出：预测股市明天的平均值自动驾驶（Self-drivingCar）输入：无人车上的各个sensor的数据，例如路况、测出的车距等输出：方向盘的角度商品
Ashe_yang·2022-11-22 17:32

2020李宏毅机器学习笔记-Transformer

目录摘要1.Transformer的提出1.1Self-attention1.2Multi-headSelf-attention（以双头为例）1.3PositionalEncoding2.seq2seqwithattention3.Transformer(重点)4.AtentionVisualization5.应用总结和展望摘要本节学习的是Transformer，Transformer实际上就是一
ZN_daydayup·2022-11-20 11:43

李宏毅机器学习笔记第11周_Spatial Transformer

文章目录一、SpatialTransformerLayer1.CNNisnotinvarianttoscalingandrotation2.Howtotransformanimage/featuremap二、ImageTransformation三、Interpolation一、SpatialTransformerLayer1.CNNisnotinvarianttoscalingandrotati
MoxiMoses·2022-11-20 11:02

李宏毅机器学习笔记——Transformer

Seq2seq输入一串序列，输出一串序列，但不知道序列长度，由机器自己决定。eg.语音识别、翻译、多标签分类、目标检测TransfomerEncoderTransform用的layerNominationdecoder1.Autorgressive上一个decoder的输入是下一个的输入：如果上一个输出错误，也会影响下一步的预测；输出是一个个产生的，串行，只能考虑左边的拥有begin和end标志m
chairon·2022-11-20 10:55

2020李宏毅机器学习笔记

还没看完，一周内更完。。笔记目录Regression（回归）CaseStudy（p3）BasicConcept（p4）Classification（p10）LogisticRegression（p11）Regression（回归）CaseStudy（p3）机器学习的三个步骤：定义模型，线性？合理性？定义损失函数来判断模型的好坏梯度下降法求使得loss最小的模型里面的参数  建立模型：  定义损失函
每天都要好好学习呐！·2022-11-20 06:10
上一页 1 2 3 4 5 6 7 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他