李宏毅机器学习笔记

李宏毅机器学习笔记——反向传播算法

反向传播算法反向传播（Backpropagation）是一种用于训练人工神经网络的算法，它通过计算损失函数相对于网络中每个参数的梯度来更新这些参数，从而最小化损失函数。反向传播是深度学习中最重要的算法之一，通常与梯度下降等优化算法结合使用。反向传播的基本原理反向传播的核心思想是利用链式法则（ChainRule）来高效地计算损失函数相对于每个参数的梯度。以下是反向传播的基本步骤：前向传播（Forwa
小陈phd·2024-09-04 10:07

李宏毅机器学习笔记 2.回归

最近在跟着Datawhale组队学习打卡，学习李宏毅的机器学习/深度学习的课程。课程视频：https://www.bilibili.com/video/BV1Ht411g7Ef开源内容：https://github.com/datawhalechina/leeml-notes本篇文章对应视频中的P3。另外，最近我也在学习邱锡鹏教授的《神经网络与深度学习》，会补充书上的一点内容。通过上一次课1.机器
Simone Zeng·2024-02-12 11:34

2023春季李宏毅机器学习笔记 02 ：机器学习基本概念

资料课程主页：https://speech.ee.ntu.edu.tw/~hylee/ml/2023-spring.phpGithub：https://github.com/Fafa-DL/Lhy_Machine_LearningB站课程：https://space.bilibili.com/253734135/channel/collectiondetail?sid=2014800一、機器學習基
女王の专属领地·2024-01-07 23:15

2023春季李宏毅机器学习笔记 03 ：机器如何生成文句

资料课程主页：https://speech.ee.ntu.edu.tw/~hylee/ml/2023-spring.phpGithub：https://github.com/Fafa-DL/Lhy_Machine_LearningB站课程：https://space.bilibili.com/253734135/channel/collectiondetail?sid=2014800一、大语言模型
女王の专属领地·2024-01-07 11:33

李宏毅机器学习笔记

听说GPT4模型更大、参数更多，功能更强，具体它好在哪里？GPT4真的能看懂图片吗？官方回答：不太能~~下面这张图片是将两个不存在的网址输入进GPT4，问它看到了什么，结果发现GPT真的会胡言乱语，它会根据网址中出现了“man”这个单词，就说他看到了“一个拿着手枪的男人。。。巴拉巴拉”明显就是在胡编乱造！而如果网址中出现了“girl”这个单词，GPT又会说他看到了“一个穿着校服的女孩子。。。巴拉巴
抱抱小杠杠·2024-01-06 11:40

2023春季李宏毅机器学习笔记 05 ：机器如何生成图像

资料课程主页：https://speech.ee.ntu.edu.tw/~hylee/ml/2023-spring.phpGithub：https://github.com/Fafa-DL/Lhy_Machine_LearningB站课程：https://space.bilibili.com/253734135/channel/collectiondetail?sid=2014800一、图像生成常
女王の专属领地·2024-01-05 11:10

2023春季李宏毅机器学习笔记01 ：正确认识 ChatGPT

资料课程主页：https://speech.ee.ntu.edu.tw/~hylee/ml/2023-spring.phpGithub：https://github.com/Fafa-DL/Lhy_Machine_LearningB站课程：https://space.bilibili.com/253734135/channel/collectiondetail?sid=2014800一、对Chat
女王の专属领地·2024-01-03 06:45

【23-24 秋学期】NNDL 作业11 LSTM

习题6-4推导LSTM网络中参数的梯度，并分析其避免梯度消失的效果习题6-3P编程实现下图LSTM运行过程李宏毅机器学习笔记：RNN循环神经网络_李宏毅rnn笔记_ZEERO~的博客-CSDN博客https
HBU_David·2023-12-04 15:03

李宏毅老师机器学习课程笔记_ML Lecture 1: ML Lecture 1: Regression - Demo

视频链接（bilibili）：李宏毅机器学习(2017)另外已经有有心的同学做了速记并更新在github上：李宏毅机器学习笔记(LeeML-Notes)所以，接下来我的笔记只记录一些我自己的总结和听课当时的
leogoforit·2023-12-02 17:21

李宏毅机器学习笔记.Flow-based Generative Model(补)

文章目录引子生成问题回顾：GeneratorMathBackgroundJacobianMatrixDeterminant行列式ChangeofVariableTheorem简单实例一维实例二维实例网络G的限制基于Flow的网络构架G的训练CouplingLayerCouplingLayer反函数计算CouplingLayerJacobian矩阵计算CouplingLayerStacking1×1
oldmao_2000·2023-11-03 02:59

李宏毅机器学习笔记-transformer

transformer是什么呢？是一个seq2seq的model。具体应用如上图所示，输入和输出的序列长度不固定，由model自己决定。语音翻译指的是，直接输入一段语音信号，例如英文，输出的直接是翻译之后的中文。seq2seq如今已经是一个应用非常广泛的模型，可以应用于NLP的各种任务，如语义分析，语义分类，聊天机器人等。另外还有个值得说明的功能是做multilabelclassification
ZEERO~·2023-10-18 07:00

李宏毅机器学习笔记-半监督学习

半监督学习，一般应用于少量带标签的数据（数量R）和大量未带标签数据的场景（数量U），一般来说，U>>R。半监督学习一般可以分为2种情况，一种是transductivelearning，这种情况下，将unlabeleddata的feature利用进来。另外一种是inductivelearning，这种情况下，在训练的整个过程中，完全不看任何unlabeleddata的信息。为什么要做semi-sup
ZEERO~·2023-10-18 07:24

李宏毅机器学习笔记第7周_局部最小值与鞍点

文章目录一、OptimizationFailsbecause……二、TaylerSeriesApproximation三、Example总结一、OptimizationFailsbecause……1．问题：我们在做optimization的时候会发现，随着参数的不断更新，training的loss不会再下降，但是我们对loss并不满意。因此我们会发现，一开始model就train不起来，不管我们怎
MoxiMoses·2023-10-16 19:21

李宏毅机器学习笔记：RNN循环神经网络

RNN一、RNN1、场景引入2、如何将一个单词表示成一个向量3种典型的RNN网络结构二、LSTMLSTM和普通NN、RNN区别三、LSTM的训练一、RNN1、场景引入例如情景补充的情况，根据词汇预测该词汇所属的类别。这个时候的Taipi则属于目的地。但是，在订票系统中，Taipi也可能会属于出发地。到底属于目的地，还是出发地，如果不结合上下文，则很难做出判断。因此，使用传统的深度神经网络解决不了问
ZEERO~·2023-09-03 21:55

李宏毅机器学习笔记：结构学习，HMM，CRF

李宏毅机器学习笔记：结构学习，HMM，CRF1、隐马尔可夫模型HMM1.1Sequence2Sequence1.2HMM1.3Viterbi算法1.3HMM模型的缺点2、CRF2.1CRF模型2.2CRF
ZEERO~·2023-08-28 22:43

李宏毅机器学习笔记——16. Conditional Generation by RNN&Attention(RNN条件生成与注意力机制)

摘要：本章内容是讲解了Generation，Attention，TipsforGeneration，一是围绕用RNN实现Generation（生成）的方法与基本原理，先应用生成句子去介绍生成的基本原理，接着举例无条件的生成图片，其不同的是：将图片上的每个像素点看成一个word，并需要考虑各像素之间的几何关系，所以我们需要借助3D-LSTM完善了Generation图片功能。但是在实际应用中，我们的
HSR CatcousCherishes·2023-08-22 17:05

李宏毅机器学习笔记——生成模型

介绍了三种方法，pixelRNN，VAE,GAN。笔记以VAE为主。pixelRNN比较容易理解，由已知推未知。这种方法还能应用到语音生成等领域在这里有个tips值得说一下，图的每个像素一般RGB三色，问题出在当RGB三个值相差不大时最终的结果像素点的颜色趋向灰色，于是乎，为了使生成的图像更加鲜亮，就需要拉高三个值的差距。简而言之，原本用三个数表示颜色，现在只用一个。VAE是一个相对复杂的东西，事
荆棘鸟》·2023-04-04 13:14

李宏毅机器学习笔记——概率模型

很有意思的一门课，但关于如何利用P(x)生成x还存在疑惑。在神经网络中y=w*x+b，为什么是这个形式？这门课将在最后归结到这一点上。举一个实际的例子，训练集中A类71个B类69个我们假定A类的71个点遵循gaussiondistribution，上图涉及的函数：输入一个点(代表一个实例的特征vector)，输出sample中该点的概率，在下文中即为P(x|A)与P(x|B)该函数有两个参数，μ与
荆棘鸟》·2023-04-04 13:43

李宏毅机器学习笔记

DataWhale–李宏毅老师机器学习P5-P8《误差来源》和《梯度下降法》学习笔记学习笔记本文是李宏毅老师B站–《机器学习》课程的学习笔记，在此非常感谢DataWhale提供的平台，希望大家加入到这个学习的大家庭中，共同成长。本文主要是关于误差来源及梯度下降法的介绍，是在老师的讲解视频和学习文档的基础上总结而来。一、误差来源在机器学习中，模型估计的误差可以分为两种，偏差（Bias）和方差（Var
learn_for_more·2023-04-02 06:26

【ML入门】李宏毅机器学习笔记02-回归问题（Regression）

【ML入门】李宏毅机器学习笔记02-回归问题（Regression）-知乎https://zhuanlan.zhihu.com/p/74684108
BG大龍·2023-03-12 03:56

李宏毅机器学习笔记第8周_批次与动量

文章目录一、Review：OptimizationwithBatch二、SmallBatchv.s.LargeBatch三、Momentum1.SmallGradient2.VanillaGradient3.GradientDescent+Momentum一、Review：OptimizationwithBatch在计算微分的时候，并不是把所有的data对计算出来的L做微分，而是把data分成一个
MoxiMoses·2023-02-02 08:52

【ML入门】李宏毅机器学习笔记01-Learning Map

【ML入门】李宏毅机器学习笔记01-LearningMap-知乎https://zhuanlan.zhihu.com/p/74377397
BG大龍·2023-01-28 03:10

李宏毅机器学习—机器学习介绍

李宏毅机器学习笔记github链接：https://github.com/datawhalechina/leeml-notes李宏毅机器学习笔记在线阅读链接：https://datawhalechina.github.io
修_远·2023-01-26 08:28

【李宏毅机器学习笔记】9、卷积神经网络（Convolutional Neural Network，CNN）

【李宏毅机器学习笔记】1、回归问题（Regression）【李宏毅机器学习笔记】2、error产生自哪里？
qqqeeevvv·2023-01-25 11:26

李宏毅机器学习笔记第8周_自动调整学习速率

文章目录一、Trainingstuck≠SmallGradient二、Waitaminute三、Trainingcanbedifficultevenwithoutcriticalpoints四、Differentparametersneedsdifferentlearningrate五、Rootmeansquare六、RMSProp七、Adam:RMSProp+Momentum八、Learning
MoxiMoses·2023-01-14 15:50

【李宏毅机器学习笔记1】第一节 机器学习基本概念简介（上）

第一节机器学习基本概念简介（上）1.机器学习第一步：function机器学习MachineLearning≈LookingforFunctionML的三大任务：Regression(回归)+classification（分类）+strcturedlearning(createsomethingwithstructure)即让机器产生有结构的东西机器学习的model：带有未知parameters的f
freezing001·2023-01-11 20:05

李宏毅机器学习笔记-Lecture1

李宏毅机器学习笔记-Lecture1_续机器学习基本概念（下）PiecewiseLinearCurvesBeyondPiecewiseLinearCurvesSigmoidFunction各参数对Sigmoid
不废江河954·2023-01-11 20:34

2021李宏毅机器学习笔记--7.1 backpropagation

2021李宏毅机器学习笔记--7.1backpropagation1摘要2步骤2.1chainrule链式法则2.2lossfunction2.2.1forwardpass2.2.2backwardpasscase1
guoxinxin0605·2023-01-11 06:13

2021李宏毅机器学习笔记--16 Recursive Network

2021李宏毅机器学习笔记--16RecursiveNetwork递归网络摘要一、Application:SentimentAnalysis(应用：情绪分析)二、RecursiveNetwork三、RecursiveNetworkTensorNetwork
guoxinxin0605·2023-01-11 06:13

2021李宏毅机器学习笔记--7 deep learning深度学习 与 fully connect feedforward network全连接前馈网络

2021李宏毅机器学习笔记--7deeplearning深度学习与fullyconnectfeedforwardnetwork全连接前馈网络摘要步骤step1NeuralnetworkFullyConnectFeedforwardNetwork
guoxinxin0605·2023-01-11 06:12

2021李宏毅机器学习笔记--1.概述机器学习

2021李宏毅机器学习笔记--1.概述机器学习机器学习内容图示什么是机器学习期望找什么样子的函式怎么告诉机器你期望的函式的样子机器怎么找出你期望的函式机器学习内容图示图中十五个知识点大致囊括了机器学习大部分内容内容什么是机器学习机器学习就是让机器自动的找一个函数式
guoxinxin0605·2023-01-11 06:42

2021李宏毅机器学习笔记--6 logistic regression逻辑回归（一种分类方法）

2021李宏毅机器学习笔记--6logisticregression逻辑回归（一种分类方法）摘要步骤step1FunctionSetstep2GoodnessofaFunctionstep3Findthebestfunction
guoxinxin0605·2023-01-11 06:42

2020李宏毅机器学习笔记——23. ELMO，BERT，GPT (三种解决一词多意问题的方法）

ELMO，BERT，GPT(三种解决一词多意问题的模型）文章目录摘要1.提出背景2.EmbeddingsfromLanguageModel(ELMO)3.BidirectionalEncoderRepresentationsfromTransformers(BERT)3.1TrainingofBERT3.2HowtouseBERT4.GenerativePre-Training(GPT)5.总结与
HSR CatcousCherishes·2023-01-09 09:03

2021李宏毅机器学习笔记--13 Network Compression

2021李宏毅机器学习笔记--13NetworkCompression摘要一、NetworkPruning（修剪）1.1基本思想1.2whypruning1.3大乐透假设(LotteryTicketHypothesis
guoxinxin0605·2023-01-08 09:41

【机器学习】李宏毅机器学习笔记1

机器学习笔记1一个程序通过利用过去的经验E在某类任务T中获得了性能改善，性能改善的程度为P，那就可以说关于T和P，该程序对E进行了学习。机器学习的主要内容，是关于在计算机上从数据中产生“模型”的算法，即”学习算法“；通过将经验数据输入到学习算法中，从而产生这类经验对应的模型（model）；运用产生的模型，机器在面临新的情况中能够做出正确的判断。（*西瓜书）简单的来说机器学习可以让机器具有寻找函数的
杳杳捞到月亮了吗·2023-01-04 11:56

李宏毅机器学习笔记——14. Attack ML Models and Defense（机器学习模型的攻击与防御）

摘要：本章讲解了机器学习模型的攻击与防御，主要是围绕攻击去展开一系列介绍。之所以要研究攻击与防御，是因为机器学习模型很可能会遭到恶意攻击，从而对模型结果造成错误。围绕攻击，讲解了攻击的基本原理与分类，以及攻击之所以会生效的原因。接着介绍了如何去攻击，与攻击方式（FGSM），以及对黑盒模型如何去攻击，与在现实世界中的实例应用。最后是有关防御Defense的部分。可分为被动防御Passivedefen
HSR CatcousCherishes·2023-01-04 09:45

2021李宏毅机器学习笔记--12 attack ML models

2021李宏毅机器学习笔记--12attackMLmodels摘要一、图像模型的攻击1.1原理1.2Constraint1.3参数训练1.4一个例子1.5攻击方法1.5.1FGSM(FastGradientSignMethod
guoxinxin0605·2023-01-04 09:56

李宏毅机器学习笔记(十九)——对ML模型的攻击和防御

文章目录一.背景二.对图像模型进行攻击1.基本思想2.相似度限制3.训练参数4.攻击效果与出现的原因5.更多的新型攻击方式(1).FGSM(2).OnePixelAttack6.面向纯黑箱的攻击三.对语音模型进行攻击1.对ASR和ASV的攻击2.隐藏语音攻击(1).TDI(2).RPG(3).HFA(4).TS四.对模型进行防御1.被动防御2.主动防御一.背景  神经网络不仅是要用在研究上，最后更
Unique13·2023-01-04 09:23

2020李宏毅机器学习笔记——18. Recursive Network(递归网络)

摘要：本章主要讲解了RecursiveNetwork(递归网络)的基本原理，首先通过情感分析任务为例来说明递归神经网络（recursiveneuralnetwork）和循环神经网络（recurrentneuralnetwork）的关系，即循环神经网络可以看做递归神经网络的特殊情况，以及Recursive模型与具体的实现过程。接着阐述了RecursiveStructure中functionf的具体设
HSR CatcousCherishes·2023-01-01 20:29

2020李宏毅机器学习笔记-ELMO, BERT, GPT

目录摘要1.Background2.ELMO3.BERT3.1TrainingofBERT3.1.1Approach1:MaskedLM3.1.2Approach2:NextSentencePrediction(NSP)3.2HowtouseBERT3.2.1case1:classification3.2.2case2:SlotFilling（插槽填充）3.2.3case3:NLI（自然语言推理）
ZN_daydayup·2022-12-22 06:03

训练seq2seq模型的一些Tips——李宏毅机器学习笔记

CopyMechanism有时我们并不需要decoder创造一些东西出来，有些内容是可以从encoder复制而来。最早具有复制能力的模型：PointerNetwork例如：chat-botSummarization至少要训练百万篇文章GuidedAttentionMonotonicAttentionLocation-awareattention语音识别往往也会犯很多低级的错误，例如语音合成中念短句
我是小蔡呀～～～·2022-12-22 06:27

2021李宏毅机器学习笔记--17 transformer

2021李宏毅机器学习笔记--17transformer摘要一、transformer二、Self-Attention三、Muliti-headself-attention四、PositionEncoding
guoxinxin0605·2022-12-22 06:25

【Transformer】——李宏毅机器学习笔记

Transformer前言transformer是一个sequence-to-sequence(seq2seq)的modelinputasequence，outputasequence.Theoutputlengthisdeterminedbymodel.例如语音辨识：那么为什么不能把以上三种模型结合起来，进行语音识别呢？因为有一些语言根本没有文字。Languagewithouttext.台语、闽
我是小蔡呀～～～·2022-12-22 06:23

Transformer及变体详解教程（更新中）

Transformer：李宏毅机器学习笔记——Transformer_NLP小白+的博客-CSDN博客_李宏毅transformer详解Transformer中Self-Attention以及Multi-HeadAttention
KuromiHan·2022-12-22 03:11

分类：概率生成模型 - 李宏毅机器学习笔记

目录1.若用回归模型硬train分类任务2.二分类任务2.1概率生成模型3.数学上的形式1.若用回归模型硬train分类任务如图，class2的标签是-1（红色的点），class1的标签是1（蓝色的点），横纵坐标是特征值。测试的时候输出可能不会正好就是1或-1，若输出接近1则认为是class1，接近-1则认为是class2，我们期待找到一条如图绿色的线能很好的分开两个标签，像左图回归任务训练出来的
一杯敬朝阳一杯敬月光·2022-12-15 09:38

李宏毅机器学习笔记-生成模型和逻辑回归

目录概率生成模型分类问题实例模型改进生成模型步骤总结后验概率的数学推导逻辑回归逻辑回归步骤逻辑回归和线性回归的比较为什么不使用MSE判别模型VS生成模型多分类逻辑回归的限制补充：生成式模型和判别式模型概率生成模型概率生成模型，简称生成模型（GenerativeModel），是概率统计和机器学习中的一类重要模型，指一系列用于随机生成可观测数据的模型。生成模型的应用十分广泛，可以用来不同的数据进行建模
iwill323·2022-12-15 09:32

2020李宏毅机器学习笔记-Recurrent Neural Network

目录RNN（循环神经网络）摘要Introduction（介绍）LSTMThree-gateMemoryCellLSTMExampleLSTMStructureLearningTargetLossFunctionTrainingErrorSurfaceHelpTechniquesRNN的应用ManytooneManytomanyRNNv.s.StructuredLearning总结与展望RNN（循环
ZN_daydayup·2022-12-15 06:34

李宏毅机器学习笔记-6 深度学习简介（Brief Introduction of Deep Learning）

BriefIntroductionofDeepLearning-深度学习简介1.前言deeplearning在近些年非常热门，从2012年开始，深度学习的应用数目几乎是呈指数增长的。深度学习的发展史如下图：2.深度学习的步骤2.1第一步：定义一个神经网络神经网络由神经元组成，每个神经元如上图所示，每个神经元都有一个bias和一个function，每条输入的边都有一个weight。假设这个神经元的输
MemoryD·2022-12-11 17:33

李宏毅机器学习笔记——13-深度学习介绍

深度学习是一种基于神经网络的学习方式，其发展经历了如下过程：神经网络的基本结构如下，整体分为输入层、中间层和输出层。中间层也叫特征处理。
qq_43389139·2022-12-11 04:22

李宏毅机器学习笔记——回归

课程基于李宏毅老师《机器学习》同时感谢DatawhaleLeeML-Notes的组队学习——五月班级目录模型设计步骤1.模型假设2.模型评估3.模型优化对单个步骤进行优化总结模型设计步骤1.模型假设，主要选择模型框架（线性、非线性等）2.模型评估，判断模型好坏（损失函数LOSS）3.模型优化，筛选最优的模型（梯度下降）1.模型假设通过特征值（单个特征或多个特征）来选择合适的数学模型（一元或多元、线
不玩游戏的小菜鸡·2022-12-11 04:51
上一页 1 2 3 4 5 6 7 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他