CH4-李宏毅机器学习

李宏毅机器学习笔记——反向传播算法

反向传播算法反向传播（Backpropagation）是一种用于训练人工神经网络的算法，它通过计算损失函数相对于网络中每个参数的梯度来更新这些参数，从而最小化损失函数。反向传播是深度学习中最重要的算法之一，通常与梯度下降等优化算法结合使用。反向传播的基本原理反向传播的核心思想是利用链式法则（ChainRule）来高效地计算损失函数相对于每个参数的梯度。以下是反向传播的基本步骤：前向传播（Forwa

小陈phd·2024-09-04 10:07

机器学习第二十五周周报 ConvLSTM

文章目录week25ConvLSTM摘要Abstract一、李宏毅机器学习二、文献阅读1.题目2.abstract3.网络架构3.1降水预报问题的建模3.2ConvolutionalLSTM3.3编码-

沽漓酒江·2024-02-19 15:51

李宏毅机器学习——回归实验

importnumpyasnpimportmatplotlib.pyplotaspltfrompylabimportmpl#matplotlib没有中文字体，动态解决plt.rcParams['font.sans-serif']=['Simhei']#显示中文mpl.rcParams['axes.unicode_minus']=False#解决保存图像是负号'-'显示为方块的问题x_data=[3

migugu·2024-02-13 12:15

李宏毅机器学习笔记 2.回归

最近在跟着Datawhale组队学习打卡，学习李宏毅的机器学习/深度学习的课程。课程视频：https://www.bilibili.com/video/BV1Ht411g7Ef开源内容：https://github.com/datawhalechina/leeml-notes本篇文章对应视频中的P3。另外，最近我也在学习邱锡鹏教授的《神经网络与深度学习》，会补充书上的一点内容。通过上一次课1.机器

Simone Zeng·2024-02-12 11:34

李宏毅机器学习（二十）无监督学习Neighbor Embedding近邻嵌入

ManifoldLearning我们有时候的特征其实是低维度的放到高纬度上去，比如地球表面是2维的，但是被放到了3维空间，比如左下的S曲面，其实可以展开到2维平面上去，接下来就方便我们进一步计算分类等等插图1我们有如下几个降维方法LocallyLinearEmedding(LLE)局部线性嵌入具体是是怎么做的呢，我们点x和周围的点xj，给xj每个点加权wij求和，使其和xi最接近，然后投影到向量z

ca8519be679b·2024-02-08 10:38

李宏毅pm2.5作业【转载】

李宏毅机器学习PM2.5作业使用pyCharm2022.2.1版本，python10.0python也不会，计算机也不会，啥都不会，只带了个脑子考了计算机研究生。研究生选了人工智能方向。

言糙·2024-02-07 19:45

Python 学习工具及资源

小甲鱼Python基础学习到P19（函数）之前image.png菜鸟语法查询Anaconda安装教学Jupyter教学*李宏毅机器学习

Lanlan_78d1·2024-02-04 12:27

Transformer 代码补充

本文是对Transformer-Attentionisallyouneed论文阅读-CSDN博客以及【李宏毅机器学习】Transformer内容补充-CSDN博客的补充，是对相关代码的理解。

Karen_Yu_·2024-01-31 21:27

【李宏毅机器学习】Transformer 内容补充

【李宏毅机器学习2021】自注意力机制(Self-attention)(上)_哔哩哔哩_bilibili发现一个奇怪的地方，如果直接看ML/DL的课程的话，有很多都是不完整的。

Karen_Yu_·2024-01-29 08:57

【LLM | 基础知识】自注意力机制 Self-attention [李宏毅机器学习]

⭐引言本文主要参考李宏毅老师对于自注意力机制的讲解内容，但在此基础之上进行了一定的补充和删减，文中大部分插图来源于李宏毅老师的课件。本文的主要目的是梳理清楚自注意力机制的基本原理，理解什么是自注意力机制，不关注代码实现和具体的数学运算。本文尽可能把内容只控制在自注意力机制的基本框架上，不进行过多的相关概念的扩展，以免被其他相关内容转移注意力。1.从“单向量输入”到“多向量输入”在之前的机器学习方法

XMUJason·2024-01-28 11:28

李宏毅机器学习（二十三）无监督学习Deep Generative Model(二)

内容衔接上一讲，上节我们讲到VAE，我们为什么用VAE而不用auto-encoder呢，直觉上的原因是如果是auto-encoder，我们期待的是输入满月解码后还是满月，输入半月输出还是半月，但是我们能保证中间状态时候我们的输出是3/4月吗，结果往往不是；如果是VAE，我们就会引入一定的噪声，使得一定范围内输出都是满月，一定范围内输出都是半月，中间的公共部分由于我们要Minimize2者的误差，所

ca8519be679b·2024-01-27 12:38

李宏毅机器学习——深度学习训练的技巧

神经网络训练的技巧优化失败的原因:局部最小值或鞍点，可以通过对H矩阵特征值正负性进行判断batch：加快梯度的计算，更新参数的速度比较快momentum:越过局部最小值或鞍点learningrate:自动调整学习率如RMSProp等normalizationdropout

migugu·2024-01-24 04:17

李宏毅机器学习——初识深度学习

深度学习简介深度学习的历史1958:Perceptron(linearmodel)1969:Perceptronhaslimitation1980s:Multi-layerperceptronDonothavesignificantdifferencefromDNNtoday1986:BackpropagationUsuallymorethan3hiddenlayersisnothelpful19

migugu·2024-01-17 00:38

李宏毅机器学习第一周_初识机器学习

目录摘要一、机器学习基本概念1、MachineLearning≈LookingforFunction2、认识一些专有名词二、预测YouTube某天的浏览量一、利用Linearmodel二、定义更复杂的函数表达式三、ReLU函数四、Sigmoid函数与ReLU函数的对比三、反向传播(Backpropagation)一、反向传播的基本思想(正向计算-误差计算-梯度计算-参数更新)二、计算过程总结摘要在

Nyctophiliaa·2024-01-08 14:04

李宏毅机器学习_卷积神经网络(CNN)

目录摘要Abstract一、什么是CNN二、ImageClassification三、Observation1一、Simplification1四、Observation2五、BenefitofConvolutionalLayer六、ConvolutionalLayer七、MultipleConvolutionalLayers八、ComparisonofTwoStories九、Observatio

Nyctophiliaa·2024-01-08 14:04

李宏毅机器学习第十六周周报NAT&HW5

文章目录week16Non-autoregressiveSequenceGeneration摘要Abstract一、李宏毅机器学习Non-autoregressiveSequenceGeneration1

沽漓酒江·2024-01-08 06:08

2023春季李宏毅机器学习笔记 02 ：机器学习基本概念

资料课程主页：https://speech.ee.ntu.edu.tw/~hylee/ml/2023-spring.phpGithub：https://github.com/Fafa-DL/Lhy_Machine_LearningB站课程：https://space.bilibili.com/253734135/channel/collectiondetail?sid=2014800一、機器學習基

女王の专属领地·2024-01-07 23:15

2023春季李宏毅机器学习笔记 03 ：机器如何生成文句

资料课程主页：https://speech.ee.ntu.edu.tw/~hylee/ml/2023-spring.phpGithub：https://github.com/Fafa-DL/Lhy_Machine_LearningB站课程：https://space.bilibili.com/253734135/channel/collectiondetail?sid=2014800一、大语言模型

女王の专属领地·2024-01-07 11:33

李宏毅机器学习笔记

抱抱小杠杠·2024-01-06 11:40

李宏毅机器学习-PCA

视频链接：李宏毅2020机器学习深度学习(完整版)国语用最直观的方式告诉你：什么是主成分分析PCA【中字】主成分分析法（PCA）|分步步骤解析看完你就懂了！无监督学习做什么无监督学习主要做两件事情：聚类&降维：比如说下图的树木，只有输入图片，没有标签，我们希望通过一个函数抽象的表达他们，于是抽出一个更抽象的表述生成器：也就是无中生有，我们有很多图片，但不知道是怎么生成的，于是需要一个好的函数，将刚

Zhuanshan_·2024-01-06 09:43

2023春季李宏毅机器学习笔记 05 ：机器如何生成图像

资料课程主页：https://speech.ee.ntu.edu.tw/~hylee/ml/2023-spring.phpGithub：https://github.com/Fafa-DL/Lhy_Machine_LearningB站课程：https://space.bilibili.com/253734135/channel/collectiondetail?sid=2014800一、图像生成常

女王の专属领地·2024-01-05 11:10

李宏毅机器学习第二十二周周报GAN理论2

文章目录week22TheorybehindGAN2摘要Abstract一、李宏毅机器学习0.上周内容概述1.GAN的训练过程2.生成器与分辨器的算法细节3.整体算法描述4.原文中生成器目标函数的实现方式二

沽漓酒江·2024-01-03 22:48

李宏毅机器学习第二十周周报GAN4

文章目录week20GAN4摘要Abstract一、李宏毅机器学习——GAN41.LearningfromUnpairedData2.CycleGAN3.Application二、文献阅读1.题目2.abstract3

沽漓酒江·2024-01-03 22:18

李宏毅机器学习第二十一周周报GAN理论

文章目录week21TheorybehindGAN摘要Abstract一、李宏毅机器学习——TheorybehindGAN1.Generation2.最大似然估计3.Generator3.Discriminator

沽漓酒江·2024-01-03 22:18

李宏毅机器学习第十八周周报GAN2

文章目录week18GAN2摘要Abstract一、TheorybehindGAN1.训练目的2.Wassersteindistance二、文献阅读1.题目2.abstract3.网络架构3.1WassersteinDistance3.2WasserteinGANs3.3Gradientpenalty4.文献解读4.1Introduction4.2创新点4.3实验过程4.3.1Difficulti

沽漓酒江·2024-01-03 22:47

李宏毅机器学习第十九周周报GAN3

文章目录week19GAN3摘要Abstract一、李宏毅机器学习——GAN31.Introduce2.DifficultyinGANtraining3.EvaluationofGeneration4.

沽漓酒江·2024-01-03 22:47

李宏毅机器学习第二十三周周报 Flow-based model

文章目录week23Flow-basedmodel摘要Abstract一、李宏毅机器学习1.引言2.数学背景2.1Jacobian2.2Determinant2.3ChangeofVariableTheorem3

沽漓酒江·2024-01-03 22:15

李宏毅机器学习（十八）无监督学习-线性模型

UnsupervisedLearning-LinearModel无监督学习我们大致分为2种情况，聚类和无中生有化繁为简，比如呢，我们有许多个树的图片，我们经过函数输出为一个结果，另一种是我们已知一个数据code，根据不同的code输入，通过函数实现输出不同的图片插图1聚类很容易理解，比如我们有猫狗鸟3种图片，通过分析相似性，将图片分为K种，但问题常常就是K取多少，比如我们有9个图片，我们分9种和分

ca8519be679b·2024-01-03 11:11

2023春季李宏毅机器学习笔记01 ：正确认识 ChatGPT

资料课程主页：https://speech.ee.ntu.edu.tw/~hylee/ml/2023-spring.phpGithub：https://github.com/Fafa-DL/Lhy_Machine_LearningB站课程：https://space.bilibili.com/253734135/channel/collectiondetail?sid=2014800一、对Chat

女王の专属领地·2024-01-03 06:45

Self-attention学习笔记（Self Attention、multi-head self attention）

李宏毅机器学习TransformerSelfAttention学习笔记记录一下几个方面的内容1、SelfAttention解决了什么问题2、SelfAttention的实现方法以及网络结构Multi-headSelfAttentionpositionalencoding3

shuyeah·2023-12-30 16:49

transformer模型结构|李宏毅机器学习21年

来源：https://www.bilibili.com/video/BV1Bb4y1L7FT?p=4&vd_source=f66cebc7ed6819c67fca9b4fa3785d39文章目录概述seq2seqtransformerEncoderDecoderAutoregressive（AT）self-attention与masked-selfattentionmodel如何决定输出的长度Cr

小居快跑·2023-12-27 23:01

李宏毅机器学习2023|图像生成模型

文章目录图像生成Autoregressive（各个击破）Non-Autoregressive（一次到位）一次到位法额外的输入——从一个高维的NormalDistribution作simple得到一个向量常用的图片生成模型VAEFlow-basedGenerativeModelDiffusionModelGANDiffusionModeldenoisemodel里实际内部做的事情如何训练NoiseP

小居快跑·2023-12-27 23:31

李宏毅机器学习2023课程记录(1)--课程介绍

李宏毅机器学习2023课程记录(1)–课程介绍在这里，记录我最近听的李宏毅老师的机器学习课程的一些笔记和感想，进行归纳总结同时方便后续复习回顾。

zhilanguifang·2023-12-17 12:56

2020台大李宏毅机器学习异常检测(Anomaly Detection)

问题描述：什么是异常？取决于你提供什么样的训练资料异常检测的应用：异常检测思路一——二分类思路？难点：不平衡的数据集，异常难以定义（异常的种类很多，不能单独归为一类），异常的资料难以收集异常检测的分类有标签：可以将没有标签的那一类归为“unknown”，这类问题也叫open-setrecognition无标签：1）所有的数据都是正常数据2）只有小部分数据为异常数据Case1——有标签的异常检测输入

ebook_sea·2023-12-15 16:34

bert其他内容个人记录

参考&转载：李宏毅机器学习--self-supervised：BERT、GPT、Auto-encoder-CSDN博客输入处理方法mass或BART可以采用mass或BART手段损坏输入数据，mass是盖住某些数据

小趴菜日记·2023-12-15 10:06

李宏毅gpt个人记录

参考&转载：李宏毅机器学习--self-supervised：BERT、GPT、Auto-encoder-CSDN博客目录GPT1基本实现模型参数量ELMO94MBERT340MGPT-21542M用无标注资料的任务训练完模型以后

小趴菜日记·2023-12-15 10:06

self-attention|李宏毅机器学习21年

来源：https://www.bilibili.com/video/BV1Bb4y1L7FT?p=1&vd_source=f66cebc7ed6819c67fca9b4fa3785d39文章目录引言self-attention运作机制b1是如何产生的怎么求关联性数值α\alphaα从矩阵乘法的角度再来一次从A得到Q、K、V从Q、K得到α\alphaα矩阵由V和A'得到b1-b4总结：从I到O就是在

小居快跑·2023-12-14 22:31

【23-24 秋学期】NNDL 作业11 LSTM

习题6-4推导LSTM网络中参数的梯度，并分析其避免梯度消失的效果习题6-3P编程实现下图LSTM运行过程李宏毅机器学习笔记：RNN循环神经网络_李宏毅rnn笔记_ZEERO~的博客-CSDN博客https

HBU_David·2023-12-04 15:03

李宏毅老师机器学习课程笔记_ML Lecture 1: ML Lecture 1: Regression - Demo

视频链接（bilibili）：李宏毅机器学习(2017)另外已经有有心的同学做了速记并更新在github上：李宏毅机器学习笔记(LeeML-Notes)所以，接下来我的笔记只记录一些我自己的总结和听课当时的

leogoforit·2023-12-02 17:21

[PyTorch][chapter 1][李宏毅深度学习-AI 简介]

前言：李宏毅深度学习从2017-2023的系列课程总结内容章节强化学习11李宏毅机器学习【2017】40李宏毅机器学习深度学习(完整版)国语【2020】119李宏毅大佬的深度学习与机器学【2022】90

明朝百晓生·2023-12-02 10:07

2022最新版-李宏毅机器学习深度学习课程-P51 BERT的各种变体

之前讲的是如何进行fine-tune，现在讲解如何进行pre-train，如何得到一个pretrain好的模型。CoVe其实最早的跟预训练有关的模型，应该是CoVe，是一个基于翻译任务的一个模型，其用encoder的模块做预训练。但是CoVe需要大量的翻译对，这是不容易获得的，能不能通过一大段没有标注的语料进行预训练呢？因为有监督的标注是十分费时费力的，因此采用自监督的方法。即给定一个无标签的语料

QwQllly·2023-11-24 19:16

【2023春李宏毅机器学习】生成式学习的两种策略

文章目录1各个击破2一步到位3两种策略的对比生成式学习的两种策略：各个击破、一步到位对于文本生成：把每一个生成的元素称为token，中文当中token指的是字，英文中的token指的是wordpiece。比如对于unbreakable，他的wordpiece指的是：unbreakable三个元素对于图片生成：每一步会生成像素1各个击破各个击破策略对应的模型是：Autoregressive(AR)m

-断言-·2023-11-22 19:03

【2023春李宏毅机器学习】快速了解机器学习基本原理

文章目录机器学习约等于机器自动找一个函数机器学习分类regression：输出为连续值classification：输出为一个类别structuredlearning：又叫生成式学习generativelearning生成有结构的物件（如：影像、句子）ChatGPT：把生成式学习拆解成多个分类问题ChatGPT实际做的事情：预测后面接哪一个字，可以理解成这是一个分类问题，类别是所有的字对于用户来说

-断言-·2023-11-22 19:57

2022最新版-李宏毅机器学习深度学习课程-P49 GPT的野望

GPT→类似于TransformerEncoder训练任务：PredictNextToken使用MASK-attention，不断预测“下一个token”。可以用GPT生成文章。HowtouseGPT?给出描述和例子给出前半段，补上后半段In-contextLearning(noGD)结果目前看起来状况是,有些任务它还真的学会了,举例来说2这个加减法,你给它一个数字加另外一个数字,它真的可以得到,

QwQllly·2023-11-22 08:49

李宏毅机器学习|生成对抗网络Generative Adversarial Network (GAN)|学习笔记（2）|GAN理论介绍与WGAN

文章目录前言1OurObjective2TrainJSdivergenceisnotsuitableWGANWassersteindistance总结前言之前老早就听说了GAN，然后对这个方法还不是很了解，想在今后的论文中应用它。因此来学习下李宏毅讲的GAN,记个笔记。视频地址1OurObjective在Generator里面，我们的目标是由Generator产生的分布(叫做PGP_GPG)和真正

亨少德小迷弟·2023-11-19 09:30

2022最新版-李宏毅机器学习深度学习课程-P50 BERT的预训练和微调

模型输入无标签文本（Textwithoutannotation），通过消耗大量计算资源预训练（Pre-train）得到一个可以读懂文本的模型，在遇到有监督的任务是微调（Fine-tune）即可。最具代表性是BERT，预训练模型现在命名基本上是源自于动画片《芝麻街》。芝麻街人物经典的预训练模型：ELMo:EmbeddingsfromLanguageModelsBERT:BidirectionalEn

QwQllly·2023-11-11 07:54

2022最新版-李宏毅机器学习深度学习课程-P34 自注意力机制类别总结

在课程的transformer视频中，李老师详细介绍了部分self-attention内容，但是self-attention其实还有各种各样的变化形式：一、Self-attention运算存在的问题在self-attention中，假设输入序列（query）长度是N，为了捕捉每个value或者token之间的关系，需要产生N个key与之对应，并将query与key之间做dot-product，就可

QwQllly·2023-11-09 07:06

2022最新版-李宏毅机器学习深度学习课程-P46 自监督学习Self-supervised Learning（BERT）

一、概述：自监督学习模型与芝麻街参数量ELMO：94MBERT：340MGPT-2：1542MMegatron：8BT5：11BTuringNLG：17BGPT-3：175BSwitchTransformer：1.6T二、Self-supervisedLearning⇒UnsupervisedLearning的一种“自监督学习”数据本身没有标签，所以属于无监督学习；但是训练过程中实际上“有标签”，

QwQllly·2023-11-09 07:58

李宏毅机器学习课程视频笔记5：Transformer

文章目录Seq2seq模型的应用Transformer模型介绍EncoderDecoderAutoregressiveDecoderNon-AutoregressiveDecoder怎么训练Transformer模型TrainingTips参考资料Transformer模型本质上是一个sequence-to-sequence（简写为seq2seq）的model，inputasequence,out

自律版光追·2023-11-06 15:12

2023李宏毅机器学习HW05样例代码中文注释版

这里只是2023李宏毅机器学习HW05样例代码的中文注释版的分享，下面的内容绝大部分是样例代码，补充了小部分函数的功能解释，没有做函数功能上的修改，是Simplebaseline版本。

Hoper.J·2023-11-05 11:12

推荐频道