CH4-李宏毅机器学习

李宏毅机器学习笔记：CNN和Self-Attention

前言本文主要记录关于李宏毅机器学习2021中HW3和HW4的卷积神经网络和自注意力机制网络部分的笔记，主要介绍了CNN在图像领域的作用及如何处理图像数据，Self-Attention在NLP(自然语言处理
YuriFan·2022-12-01 02:45

李宏毅机器学习笔记第12周_自注意力机制（Self-attention）

文章目录一、SophisticatedInput二、VectorSetasInput三、Whatistheoutput?四、SequenceLabeling五、Self-attention六、Self-attention七、Multi-headSelf-attention八、PositionalEncoding九、Manyapplications1.Self-attentionforSpeech2
MoxiMoses·2022-12-01 02:44

2021/2022李宏毅机器学习笔记-self attention

sophisticatedInput到目前為止我们的Network的Input都是一个向量不管是在预测这个,YouTube观看人数的问题上啊,还是影像处理上啊,我们的输入都可以看作是一个向量，然后我们的输出，可能是一个数值,这个是Regression,可能是一个类别,这是Classification但假设我们遇到更復杂的问题呢,假设我们说输入是多个向量，而且这个输入的向量的数目是会改变的呢我们刚才
nousefully·2022-12-01 02:13

李宏毅机器学习笔记-----Self-Attention

目录1.1self-attention-过程实现1.2Self-attention中的并行运算1.3Multi-headSelf-attention1.4PositionEncoding1.5Self-attentionforImage1.6Self-attentionvsCNN1.1self-attention-过程实现q表示queryk表示keyv表示information第一步：由a得到a^
香菇炸酱面·2022-12-01 02:12

【李宏毅机器学习2022】Task06 self-attention算法

【李宏毅机器学习2021】本系列是针对datawhale《李宏毅机器学习-202210月》的学习笔记。本次是对深度学习中self-attention算法的学习总结。
王多头发·2022-12-01 02:39

李宏毅机器学习学习笔记：Self-attention

Self-attention输入无论是图像、音频、单词，embedding成向量vector的形式传统方式将这些向量组成的sequence输入一个model，得到一系列输出，每个向量对应一个输出点此时向量之间的关联，某个向量对另一个向量的影响并不能被体现出来，采用直接相加或cantenate的方法，体现了向量间的影响，但无法量化某个向量受不同向量影响的大小程度不同。采用Window的形式，无法决定
晚安八月·2022-12-01 02:07

李宏毅机器学习2021学习笔记（1）：CNN

李宏毅机器学习2021学习笔记（1）：CNN1.评价指标：交叉熵（Crossentropy）2.CNN本质：读取局部特征3.Receptivefield与StrideReceptivefiled:CNN
不知名菜鸟newdon·2022-11-30 19:24

2021李宏毅机器学习笔记

什么是机器学习？MachineLearning≈LookingforFunction常见的函数类型：Regression(回归):Thefunctionoutputsascalar(数值).Classification(分类)：Givenoptions(classes),thefuctionoutputsthecorrectone.模型训练策略（检查loss值）：在这里顺便说一下Epoch，Bat
不想学习的打工人·2022-11-30 19:17

李宏毅机器学习（2021）学习笔记 01

文章目录前言正文机器学习概念机器学习做什么机器学习分类机器学习怎么做？第一步：设定模型第二步：在训练数据上定义损失函数第三步：寻找最优参数第四步：在测试数据上测试模型总结前言简单写一下，首先记录两个问题：为什么看机器学习教程？为什么写这个博客？第一，论文要用。第二，巩固、梳理以及方便复习，另外，大家都说程序员写博客用处很大，借这个机会稍作尝试。然后大概说一下我对博客内容结构的初步的构想：每一篇博客
hldgs·2022-11-30 19:40

Task04 LeeML P13

李宏毅机器学习P13深度学习简介深度学习的三个步骤深度的理解整个神经网络的本质--通过隐藏层进行特征转换手写数字识别举例思考隐藏层越多越好？
Alice01010101·2022-11-30 16:49

李宏毅机器学习Homework1（代码简洁版）

李宏毅机器学习Homework1题意大概是（我具体没怎么听，觉得有问题的小伙伴可以提醒我一句），给你前四天的数据，根据第5天的身体状况预测第五天的test_positive，具体数据b站有，懒得放了因为电脑没有
流荧静水·2022-11-30 10:33

李宏毅机器学习2022春季-第六课和HW6

学习目标：GAN第六课学习内容：李宏毅2022课程视频全部以线上视频的形式给出（已经全部录好，你可以选择短时间全部学完），上课时间会直播讲解额外的内容（可以不听）和作业（建议一定要做），目前已更新到作业六。第六课主要内容是GAN，是目前主流的生成式模型，目前相关的研究很多，很多问题也没得到完美的解决方案，还有很多坑没填上，对有志于机器学习的学生，GAN可以作为研究方向，详细内容见课程视频。课程视频
机器学习手艺人·2022-11-30 05:51

李宏毅机器学习 之 回归Regression（二）

目录1、回归的定义2、回归的例子3、建模步骤1）模型假设，选择模型框架（线性模型）2）模型评估，如何判断众多模型的好坏（损失函数）3）模型优化，如何筛选最优的模型（梯度下降）4、步骤优化1）向量化Vectorization2）引入更多参数，更多input3）优化：引入正则化Regularization写在前面，真的很生气，花费一个晚上写好的笔记，结果莫名其妙的突然浏览器就全部给我清空了，我写了将近
Arbicoral·2022-11-29 19:09

Self-attention自注意力机制——李宏毅机器学习笔记

self-attention想要解决的问题复杂的输入每次输入的length不同时，即VectorSet大小不同，该如何处理？one-hotencoding，缺点：所有的词汇之间没有语义资讯。wordembedding，会给每一个词汇一个向量，一个句子则是一排长度不一的向量，具有语义资讯。1min便有6000个frame输出是什么？（1）Eachvectorhasalabel(2)Thewholes
我是小蔡呀～～～·2022-11-29 07:31

通俗易懂——VAE变分自编码器原理

变分自编码器（VariationalAutoEncoder,VAE）李宏毅机器学习笔记。转载请注明出处。
BarbaraChow·2022-11-28 13:22

李宏毅机器学习——线性回归笔记整理

主要从机器学习的大局观讲述了线性回归的三步骤。其中还埋了不少坑，比如：过拟合、正则化等。思维导图见下图：笔记整理见下图
QwQQQ_·2022-11-28 12:25

李宏毅机器学习笔记——误差与梯度下降

思维导图一览误差从哪儿来？误差一般来源于bias和variance。问题的来源是搞清楚bias有多大，variance有多大。variance由下图也可以看出：简单的模型得出的variance比较小，但bias会比较大。而复杂的模型得出的bias比较小，但variance比较大。同时简单的模型不容易受到数据的外在因素(如噪音)的干扰。直观可以理解为：假如y=b。则这个模型不论数据是什么样的都是一条
QwQQQ_·2022-11-28 12:25

李宏毅机器学习笔记整理Day1

概念为主，从大框架上讲述ML。不难。以前听过并且记过笔记，现在可以结合笔记再听一遍。吃老本挺香。等深入学习以后可以结合思维导图和更详细的笔记。
QwQQQ_·2022-11-28 12:25

《李宏毅机器学习》回归

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录目录一、回归的模型步骤二、三个步骤的具体做法1.线性模型2.损失函数3.模型优化总结前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考一、回归的模型步骤step1:模型
learner.bear·2022-11-28 07:39

李宏毅机器学习 误差和梯度下降

误差和梯度下降误差误差的来源在前面的测试集数据来看，AverageError随着模型复杂度增加呈指数上升趋势。更复杂的模型并不能给测试集带来更好的效果，而这些Error的主要来源有两个，分别是偏差bias和方差variance。它们的差别可以参考机器学习中的Bias（偏差）、Error（误差）、Variance（方差）有什么区别和联系？估测假设真实的模型为f^\hat{f}f^，该模型f^\hat
includeSteven·2022-11-28 07:38

李宏毅机器学习Regression

1.回归定义regression就是寻找一个函数，通过输入特征，然后输出一个数值2.模型步骤Step1：模型假设，选择模型框架(linearmodel)Step2：模型评估，如何判断众多模型的好坏(lossfunction)Step3：模型优化，如何筛选最优的模型(GradientDescent)Step1：模型假设–linearmodel一元线性模型（单个特征）：最简单的模型（线性模型），并且假
Tongsen99·2022-11-28 07:38

李宏毅机器学习误差和梯度下降法

文章目录误差（Error）误差的来源模型的估测偏差和方差的评估偏差大-欠拟合方差大-过拟合模型选择梯度下降法梯度下降法的介绍梯度下降法的几个TipsTip1：调整学习率Tip2：随机梯度下降法Tip3：特征缩放梯度下降法的限制误差（Error）误差的来源ErrorErrorError的主要来源有两个，分别是biasbiasbias和variancevariancevariance（偏差和方差）。模
Tongsen99·2022-11-28 07:38

李宏毅机器学习笔记03-误差和梯度下降

Error的来源从上节课测试集数据来看，AverageErrorAverage\ErrorAverageError随着模型复杂增加呈指数上升趋势。更复杂的模型并不能给测试集带来更好的效果，而这些ErrorErrorError的主要有两个来源，分别是biasbiasbias和variancevariancevariance。然而biasbiasbias和variancevariancevarianc
hifuture_·2022-11-28 07:38

李宏毅机器学习——线性回归

线性回归文章目录线性回归一、线性回归定义二、模型步骤三、线性回归分类一元线性回归多元线性回归四、损失函数五、梯度下降过拟合问题总结一、线性回归定义线性回归：找到一个模型（function），通过输入特征x，输出一个预测者二、模型步骤step1：模型（function）假设，选择模型框架（线性模型）step2：模型评估，利用损失函数（lostfunction）评估模型好坏step3：模型优化，通过梯
Eugene_lt·2022-11-28 07:37

李宏毅机器学习——误差

一、误差的构成Error=Bias+VarianceBias和Variance之间是此消彼长的关系，其本质是机器计算与先验之间的battle如果依赖先验，就会对model施加限制，限制其复杂度，从而Bias相对大；但是model因为简单所以更加稳定，方差较小。如果依赖机器计算，就会使model尽可能贴合数据，model复杂度很高，Bias低，但是模型的不确定性很高，应用到实际中的模型方差会很大。二
thisissally·2022-11-28 07:37

【22李宏毅机器学习】第一节 机器学习与深度学习的基本概念

概述本节讲解了机器学习从选定模型到定义代价函数再到优化模型的三部曲。李老师以他的油管视频日访问量的预测为切入点，讲解机器学习算法的开发三步骤。一、机器学习步骤（三部曲）FunctionwithUnknownParmeter即选定一个model需要依靠domainknowledgeDefineLossfromTrainingData（从训练数据中定义代价函数）注意李老师只讲到两种e值，一种是绝对值误
春天猪会飞·2022-11-28 07:06

李宏毅机器学习-误差和梯度下降

目录前言一、误差1.偏差2.方差3.减少错误4.模型选择（比较验证）（1）交叉验证（2）N折交叉验证二、梯度下降1.调整学习率（1）一般调整学习率（2）自适应学习率（3）Adagrad算法2.随机梯度下降3.特征缩放总结前言本文内容涉及误差、梯度下降，来源于李宏毅老师深度学习视频。一、误差误差反映整个模型的准确度，误差的来源由两部分：偏差（bias）和方差（variance）。可以用下面式子表示：
DongXueL·2022-11-28 07:05

2021李宏毅机器学习（1）：基本概念

2021李宏毅机器学习（1）：基本概念1基本概念1.1不同的函数类别1.2如何寻找函数（Training）：1.3模型1.3.1sigmoid1.3.2ReLU1.3.3对sigmoid的计算可以多做几次
三耳01·2022-11-28 07:05

李宏毅机器学习笔记——回归

回归笔记回归使用场景预测步骤第一步——确定模型的集合第二步——模型好坏的判断第三步——梯度下降改进模型回归使用场景股票预测：输入：历史股票价格等输出：明日或以后股票的价格或平均值自动驾驶：输入：场景信息、信号输出：方向盘角度推荐系统：输入：使用者信息、商品信息输出：购买可能性课内使用案例：预测宝可梦进化后的战斗力（CP）输入：进化前的CP，种类，HP，重量，高度预测步骤第一步——确定模型的集合线性
Brandon1017·2022-11-28 07:04

李宏毅机器学习笔记——误差与梯度下降

误差与梯度下降误差的来源VarianceBias小结交叉验证梯度下降学习率自动调整学习率随机梯度下降特征缩放（FeatureScaling）梯度下降原理误差的来源训练得到的模型f∗f^*f∗和真实的模型f^\hatff^之间的距离（差距）就是Bias+Variance。Variance于是可以得到规律：简单的模型的Variance比较小，而复杂的模型的Variance比较大。因为简单的模型受不同的
Brandon1017·2022-11-28 07:04

【李宏毅机器学习】Classification_1 分类（p10） 学习笔记

全文总结于哔哩大学的视频：李宏毅2020机器学习深度学习(完整版)国语2020版课后作业范例和作业说明在github上：点击此处李宏毅上传了2020版本的机器学习视频和吴恩达的CS229机器学习相比，中文版本的机器学习显得亲民了许多，李宏毅的机器学习是英文的ppt+中文讲解，非常有利于大家入门。吴恩达的CS229中偏向于传统机器学习（线性回归、逻辑回归、NaiveBayes、决策树、支持向量机等）
running snail szj·2022-11-28 01:55

李宏毅《机器学习》（DL方向）阶段性总结

晨哥是个好演员）二、重要知识点梯度下降损失函数反向传播CNN三、实例实战（fashion-mnist演示）1.知识回顾2.三种定义方式+代码示例四、参考文档来自Datawhale的投喂来自官方的投喂总结前言李宏毅机器学习的组队学习告一段落
Beyond_April·2022-11-28 01:25

李宏毅机器学习hw3

Homework3-ConvolutionalNeuralNetwork本文是对课程作业代码范例的复现，但也写了一些自己的理解和期间遇到的问题，如有写的不对的地方欢迎各位大佬指正。问题的解决方法和参考资料在文中以链接的形式给出主要的参考文章是iteapoy的这篇⭐李宏毅2020机器学习作业3-CNN：食物图片分类1作业概述在food_11文件中有三个文件分别是training、validation
老问题·2022-11-28 01:19

李宏毅机器学习（深度学习）--overfitting

李宏毅机器学习（深度学习）--overfitting1.机器学习速通攻略2.overfitting1.机器学习速通攻略本节课首先老师是用了一张图来介绍作业出现一些错误时，我们该如何找出错误，这又称为速通攻略
Kinoki7·2022-11-27 10:53

误差、梯度下降、概率分类模型、logistic回归笔记

PS:学习内容来自李宏毅机器学习2019版误差误差的来源  平均误差(AverageError)会随着模型复杂增加呈指数上升趋势。
海风吹过的夏天·2022-11-27 08:28

PaddlePaddle李宏毅机器学习特训营笔记——机器学习概述

本文的目录如下：1.机器学习引入2.什么是机器学习？3.机器学习的分类4.机器学习应用场景5.课程信息1.机器学习引入  机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。  机器学习是人工智能的一个子集，它是人工智能的核心，是使计算机具有智能的
从零开始机器学习·2022-11-27 02:47

李宏毅机器学习笔记——概述与介绍

介绍及概述笔记机器学习机器学习介绍机器学习流程学习总览监督学习回归Regression分类Classification二元分类多分类半监督学习、迁移学习无监督学习结构化学习强化学习机器学习机器学习介绍人工智能是目标，机器学习是手段，深度学习是一种方法。机器学习是从数据中寻找一个或若干个规律/函数，并根据新的数据作出相对的回应。机器学习流程学习总览监督学习回归Regression提供数据，找到合适的
Brandon1017·2022-11-27 02:30

李宏毅机器学习笔记：回归 ——梯度下降法 过拟合 正则化

李宏毅机器学习笔记：回归——梯度下降法过拟合正则化学习笔记总结：源学习笔记链接:https://datawhalechina.github.io/leeml-notes/#/chapter3/chapter3
麻麻在学习·2022-11-26 19:23

卷积神经网络——李宏毅机器学习笔记

以ImageClassification为例第一个解释角度：先将不同尺寸的image，rescale成大小一样的尺寸，再丢到model中。下图中，我们希望Crossentropy越小越好在计算机视角下的图片：3channels对应RGB三个通道随着模型参数的增多，全连接层网络的弹性越大，overfitting的风险越大那么怎么避免在做图像识别参数过多的问题？我们没有必要考虑每一个neuron跟in
麻辣兔头·2022-11-26 17:11

2020李宏毅机器学习学习笔记--1.概论与Regression回归

第一节课课程介绍概论（P1）一.机器学习的本质就是自动寻找函式比如：------输入语音信号，输出文字信号------输入图片，输出内容------输入一个问题，输出一个答案二.机器学习包含以下-1.—Regression（回归）：Theoutputofthefunctionisascalar，函数的输出是一个数值2.—Classification*（分类）1）.BinaryClassificat
HSR CatcousCherishes·2022-11-26 10:47

李宏毅机器学习2022春季-第八课和HW8

李宏毅2022课程视频全部以线上视频的形式给出（已经全部录好，你可以选择短时间全部学完），上课时间会直播讲解额外的内容（可以不听）和作业（建议一定要做），目前已更新到作业八。第八课主要内容是Autoencoder和AnomalyDetection。Autoencoder包含encoder和decoder两个部分，encoder对输入信息进行表征学习，decoder将表征学习还原回输入信息。Anom
机器学习手艺人·2022-11-26 10:46

李宏毅机器学习笔记——Anomaly Detection（异常侦测）

目录异常检测概述AnomalyDetection分类异常侦测不是一个单纯的二元分类问题两种类别数据存在标签训练验证集和评估分类modelPossibleIssuesWithoutlabel（无标签的数据）问题定义具体做法Auto-encoder做异常检测总结异常检测概述对于异常检测任务来说，我们希望能够通过现有的样本来训练一个函数，它能够从数据中学习到某些正常的特征，根据输入与现有样本之间是否足够
iwill323·2022-11-26 10:16

代码报错：Unable to find a valid cuDNN algorithm to run convolution

今天在做李宏毅机器学习第八个作业的时候，遇到一个代码报错UnabletofindavalidcuDNNalgorithmtorunconvolution，网上搜了搜，有的说显存不够，调小bach_size
iwill323·2022-11-26 10:16

李宏毅机器学习作业10——Adversarial Attack

目录目标和方法评价方法导包GlobalSettingsDatatransformDataset代理网络评估模型在非攻击性图像上的表现AttackAlgorithmFGSMI-FGSMMI-FGSMDiverseInput(DIM)攻击函数AttackEnsembleAttack集成模型函数构建集成模型进行攻击FGSM方法I-FGSM方法+EnsembelAttackMIFGSM+EnsembleA
iwill323·2022-11-26 10:16

李宏毅机器学习作业8-异常检测（Anomaly Detection）

目录目标和数据集数据集方法论导包Datasetmoduleautoencoder训练加载数据训练函数训练推断解答与讨论fcn浅层模型深层网络cnn残差网络辅助网络目标和数据集使用Unsupervised模型做异常检测:识别给定图像是否和训练图像相似数据集Trainingdata100000humanfacesdata/traingset.npy:100000imagesinannumpyarray
iwill323·2022-11-26 10:46

2022李宏毅机器学习深度学习学习笔记第六周--BERT的变体

文章目录前言Pre-trainingbyTranslationPredictNextTokenMaskingInputXLNetUniLM总结前言本文讲怎么得到pre-train的模型以及预测下一个token模型，介绍两种盖住token的方法，之后讲UniLM的运作过程。我们希望可以有一个pre-train的模型，把一串token吃进去，把每一串token变成一个embeddingvector，我
hehehe2022·2022-11-26 00:01

2022李宏毅机器学习深度学习学习笔记第四周--Self-Supervised Learning

文章目录前言Self-SupervisedLearning什么是Self-SupervisedLearningMaskingInputNextSentencePredictionBERT如何使用为什么BERT有用呢？Multi-lingualBERT多语言BERTGPT总结前言本文要讲的是Self-SupervisedLearning自监督学习，首先列举了Self-SupervisedLearni
hehehe2022·2022-11-26 00:00

李宏毅机器学习课程自测练习题

暂停更新LastModified2022.1.7Fri22:27目录(计划包含以下内容)：简介线性分类与感知机数学基础卷积神经网络循环神经网络自注意力机制Transformer自监督学习自编码器对抗生成网络可解释AI与对抗攻击领域自适应深度强化学习I.序言1.下列哪种方法可以用来减小过拟合A.更多的训练数据B.L1正则化C.L2正则化D.减小模型的复杂度2.对于PCA说法正确的是A.我们必须在使用
xiongxyowo·2022-11-25 22:52

2021李宏毅机器学习（3）：类神经网络训练不起来怎么办

2021李宏毅机器学习（3）：类神经网络训练不起来怎么办1任务攻略1.1如果在训练集上的loss始终不够小1.2如果loss在训练集上小，在测试集上大1.3任务攻略的示意图2局部最小值(localminima
三耳01·2022-11-25 20:47

李宏毅机器学习打卡Task05：神经网络训练不起来怎么办？

目录b站学习视频地址：李宏毅《机器学习/深度学习》2021课程（国语版本，已授权）_哔哩哔哩_bilibili一、局部最小值(Localminima)和鞍点(Saddlepoint)二、批次(Batch)和动量(Momentum)三、自动调整学习率四、损失函数也可能对训练有影响五、批次标准化(BN)b站学习视频地址：李宏毅《机器学习/深度学习》2021课程（国语版本，已授权）_哔哩哔哩_bilib
陈住气^-^·2022-11-25 20:13
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他