生成对抗网络（GenerativeAdversarialNetwork,GAN）的原理学习李宏毅机器学习课程总结。前面学习了GAN的直观的介绍，现在学习GAN的基本理论。

老师这里讲述tensorflow和theano是类似的深度学习工具，他们非常弹性，如果学习起来是比较费事情的（之前学了的确费事，但是不能被老师骗啦）Keras（英文的意思是牛角）是一种tensorflow或thteano搭建起来的界面，相对前两个比较好学，模型api都经过了封装，当然它也有一定的弹性，如果你想修改模型的话可以通过写tensorflow或者theano代码.Keras作者是谷歌工作人

本节课主要介绍了AdaptiveLearningRate的基本思想和方法。通过使用AdaptiveLearningRate的策略，在训练深度神经网络时程序能实现在不同参数、不同iteration中，学习率不同。本节课涉及到的算法或策略有：Adgrad、RMSProp、Adam、LearningRateDecay、WarmUp。本节课参考的资料有：MIT-DeepLearning：https://w

本节课主要介绍了Batch和Momentum这两个在训练神经网络时用到的小技巧。合理使用batch，可加速模型训练的时间，并使模型在训练集或测试集上有更好的表现。而合理使用momentum，则可有效对抗criticalpoint。课程视频：Youtube：https://www.youtube.com/watch?v=zzbr1h9sF54知乎：https://www.zhihu.com/zvid

本节课可视为机器学习系列课程的一个前期攻略，这节课主要对MachineLearning的框架进行了简单的介绍；并以trainingdata上的loss大小为切入点，介绍了几种常见的在模型训练的过程中容易出现的情况。课程视频：Youtube：https://www.youtube.com/watch?v=WeHM2xpYQpw课程PPT：https://view.officeapps.live.co

机器学习是什么老师列举了个实例漫画，一个机器人被切开了后里面都是if（else），这种机器人不具备自我学习的能力机器学习是根据我们的大量数据寻找到一个function函数，以获得对新数据的预测（回归）或识别（分类）的过程插图1训练好数据实现分类，输入一张猫图片，输出cat回归函数输出是个数值（连续或区间连续）分类函数输出是0,1,2,3……(包括多分类和二分类)二分类函数输出是0,1即yes,no

LinearModel往往比较简单，y都是随着X(x1,x2...)的输入线性变化的，但在现实场景中问题往往不是LinearModel可以描述的。比如我们需要得到红色曲线时，用LinearModel就无法实现，这种模型无法拟合问题的情况下就叫做ModelBias。那么我们如何拟合红色的曲线呢？通过上图方式就可以拟合出任意的PiecewiseLinearCurves。PiecewiseLinearC

在做机器学习作业的时候苦于手动调参（甚至一度想自己简单写个函数自动调参，不过想来python库中肯定有相关函数，便有了这篇文章）在文章的结尾，我会以李宏毅机器学习hw01为例子介绍怎么插入这段代码关于课程说句题外话

参考资料：UnderstandingtheBias-VarianceTradeoff李宏毅机器学习视频5.2Wheredoestheerrorcomefrom(Av10590361,P5).Flv以下讨论的假设是基于

对应课程视频有点小跳跃，因为课堂上2节视频是用游戏展示梯度下降找最低点示范，感觉没啥说的了常见的分类，如根据一个人的收入，储蓄，职业，年龄等判断是否给与贷款，（2分类）根据病人的各种检查指标，确定病人有哪种疾病（多分类）根据手写汉字，识别出手写内容（多分类，分类进8000个）插图1我们怎么做分类，按之前学的，可以把回归做分类工具吗？比如二分类，判断是就是1，不是就是-1，接近1的就是1，接近-1读

【李宏毅机器学习任务五】负责人：王佳旭课程设计人：王佳旭学习打卡内容：推导LR损失函数(1)学习LR梯度下降(2)利用代码描述梯度下降(选做)(3)Softmax原理(4)softmax损失函数(5)softmax

注意这个L是所有的e加和平均，也就是说是整个数据集的数据都输入一遍得到的误差。实际的训练过程中，我们会把数据集划分为几个Batch，每一个Batch算一个L用于更新参数也就是一次Update（之前我们说的每次都会把所有数据输入做一个Upate，其实就是Batch大小就是数据集大小），完整的过一遍Batch叫一个epoch那为什么要分成一个Batch一个Bacht呢，跳转。在实际训练中，举一些例子：

李宏毅机器学习学习笔记汇总课程链接文章目录ReviewGradientDescentTipsTip1:Tuningyourlearningrate小心微调你的学习率Tip2StochasticGradientDescentSGD

Review:gradientDescentLearningrates给优化过程中带来的影响自适应调整learningrate的方法梯度下降法的背后理论基础Review:gradientDescent在上一个视频里，已经介绍了使用梯度下降法求解Lossfunctionθ∗=argminL(θ)\theta^*=argmin\L(\theta)θ∗=argminL(θ)L:lossfunctionθ

介绍了三种方法，pixelRNN，VAE,GAN。笔记以VAE为主。pixelRNN比较容易理解，由已知推未知。这种方法还能应用到语音生成等领域在这里有个tips值得说一下，图的每个像素一般RGB三色，问题出在当RGB三个值相差不大时最终的结果像素点的颜色趋向灰色，于是乎，为了使生成的图像更加鲜亮，就需要拉高三个值的差距。简而言之，原本用三个数表示颜色，现在只用一个。VAE是一个相对复杂的东西，事

很有意思的一门课，但关于如何利用P(x)生成x还存在疑惑。在神经网络中y=w*x+b，为什么是这个形式？这门课将在最后归结到这一点上。举一个实际的例子，训练集中A类71个B类69个我们假定A类的71个点遵循gaussiondistribution，上图涉及的函数：输入一个点(代表一个实例的特征vector)，输出sample中该点的概率，在下文中即为P(x|A)与P(x|B)该函数有两个参数，μ与

目录深度学习的发展：发展历史未来展望【待整理】机器学习/深度学习的三步骤：Step1：神经网络（Neuralnetwork）1.前馈Feedforward2.全连接FullyConnect3.隐藏层4.普遍性定理Step2：模型评估（Goodnessoffunction）Step3：选择最优函数（Pickbestfunction）反向传播介绍1.梯度传播2.链式法则3.参数正向传递4.梯度反向传播

DataWhale–李宏毅老师机器学习P5-P8《误差来源》和《梯度下降法》学习笔记学习笔记本文是李宏毅老师B站–《机器学习》课程的学习笔记，在此非常感谢DataWhale提供的平台，希望大家加入到这个学习的大家庭中，共同成长。本文主要是关于误差来源及梯度下降法的介绍，是在老师的讲解视频和学习文档的基础上总结而来。一、误差来源在机器学习中，模型估计的误差可以分为两种，偏差（Bias）和方差（Var

为什么Deeper更好，我们神经网络层数多，因为参数多，当然也表现得更好插图1我们比较胖短型和深瘦型，哪个有优势呢，我们需要在相同的参数量下进行比较插图2我们比较2种形状，当高瘦型是5*2K个神经元时，矮胖相同的参数量要1*3772个神经元，其准确率比左侧低，下一行类似，我们甚至可以把矮胖型的神经元增加到1*16K个，但是准确率还不如2*2K的左侧，所以我们增加参数时要把参数尽可能的增加到深度上而

参考：https://blog.csdn.net/zghnwsc/article/details/115982794参考视频：李宏毅机器学习2021https://www.bilibili.com/video

注：本文理论部分的截图全部来自李宏毅机器学习及其深层与结构化课件。生成对抗网络有两个模型：判别模型和生成模型。

学习Datawhale对《李宏毅机器学习》决策树章节补充的内容：AdditionalReferences(熵的理解)学习目标：*信息量计算，原理*信息熵*证明0⩽H(p)⩽logn*联合概率，边缘概率*

【ML入门】李宏毅机器学习笔记02-回归问题（Regression）-知乎https://zhuanlan.zhihu.com/p/74684108

目录一、机器学习介绍二、机器学习相关的技术2.1监督学习2.2半监督学习2.3迁移学习2.4无监督学习2.5监督学习中的结构化学习2.6强化学习三、为什么我们需要学习机器学习?一、机器学习介绍1950年人工智能(AI)、ArtificialIntelligence人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、

李宏毅机器学习课程笔记9：RecurrentNeuralNetwork这篇文章是学习本课程第25-26课所做的笔记和自己的理解。

http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML17_2.html0IntroductionofMachineLearingAIhand-craftedrules(IFs)——>机器学习(Function)Asetoffunction(model)GoodnessoffunctinPickthe"best"function(好的演算法)Wheredoes

内容为自己对助教给出代码的自我理解（甚至可以理解为部分翻译。。）外加一些函数的查找以及其功能，欢迎大家指出我的不足，帖子主要是作为自己的笔记记录一下，不喜勿喷。3qTaskdescription-ChineseExtractiveQuestionAnswering-Input:Paragraph+Question-Output:Answer-Objective:Learnhowtofinetune

内容为自己对助教给出代码的自我理解（甚至可以理解为部分翻译。。）外加一些函数的查找以及其功能，欢迎大家指出我的不足，帖子主要是作为自己的笔记记录一下，不喜勿喷。3q作业内容为建立GAN模型来生成二次元人物facesSetuptheenvironmentPackagesInstallation#Youmayreplacetheworkspacedirectoryifyouwant.workspace

为什么用CNN当我们一般直接用fullyconnectfeedforwardnetwork来做影像处理的时候，往往我们会需要太多的参数，举例来说，假设这是一张100*100的彩色图(一张很小的imgage)，你把这个拉成一个vector，(它有多少个pixel)，它有100*1003的pixel。如果是彩色图的话，每个pixel需要三个value来描述它，就是30000维(30000dimensi

Transformerby熠熠发光的白Transformer是Sequence-to-sequence的model，输出长度由model决定通过把语音转化为中文，翻译成有办法阅读的文字台语转化普通话是有可能实现的，例如YouTube上的乡土剧问题：倒装可能较难实现Test-to-SpeechSynthesis文本转语音Seq2seqforChatbot训练大量对话，往往特质化特殊模型可以得到比se

目录一、基础知识1、lstm（1）B站李宏毅机器学习课程（2）部分网友对应的课件文章：（3）损失函数（4）优化方法选择：（5）这种组合的优势：（6）lstm相较于普通RNN的优势：2、crf（1）课程（

文章目录什么是机器学习不同类别的函数(Function)1.回归(Regression)2.分类3.结构化学习如何找到想要的函数(Function)1.建立一个含有位置参数的函数2.定义损失函数3.最优化(Optimization)模型的变形：Sigmoid→ReLUSigmoid\toReLUSigmoid→ReLU总结什么是机器学习让机器具有寻找一个函数(Function)的功能不同类别的函数

文章目录摘要一、Batch为什么要用batch？二、momentum总结摘要本节主要讲述了batch和momentum，主要讲述为什么要用batch，通过对比讲述了batch大小的特点；通过物理例子引出momentum，讲述了以前的梯度下降和加上动量的梯度下降。一、Batch实际在做微分的时候不是对所有数据算出来的L算微分，是把所有的数据分成一个一个的batch，每次是拿一个batch里的资料计算

文章目录一、Review：OptimizationwithBatch二、SmallBatchv.s.LargeBatch三、Momentum1.SmallGradient2.VanillaGradient3.GradientDescent+Momentum一、Review：OptimizationwithBatch在计算微分的时候，并不是把所有的data对计算出来的L做微分，而是把data分成一个

李宏毅2022课程视频全部以线上视频的形式给出（已经全部录好，你可以选择短时间全部学完），上课时间会直播讲解额外的内容（可以不听）和作业（建议一定要做），目前已更新到作业四。第四课主要内容是自注意力机制(self-attention)，是目前自然语音处理、语音处理，甚至是图像处理中使用非常多的网络架构，详细内容见课程视频。课程视频：b站视频号：机器学习手艺人网址：https://www.bilib

【李宏毅机器学习训练营】-PM2.5预测项目心得体会利用飞桨实现PM2.5预测首先，很感谢百度飞桨给我们提供这样的一个机会可以接触到现在热门的机器学习以及深度学习知识，作为一名大二的学生，在进入大学的时候就对

data及代码链接：链接：https://pan.baidu.com/s/1BZvtDkuf3Mctzxs-NRA-VQ提取码：0uje复制这段内容后打开百度网盘手机App，操作更方便哦课程链接：https://aistudio.baidu.com/aistudio/course/introduce/1978项目描述：本次作业的资料是从行政院环境环保署空气品质监测网所下载的观测资料。希望大家能在本

整篇文章是笔者自我一点点学习和理解其所给指导代码的记录学习。在读取文件的时候使用了pandas.read_csv()函数，其中enconding的参数时“big5”，这是因为在这份文件中里面含有繁体字，使用“gbk”编码时会报错data=pd.read_csv('./train.csv',encoding='big5')记事本打开是这样：使用该函数打开后是这样：PREPROCESSING部分dat

项目描述本次作业的资料是从行政院环境环保署空气品质监测网所下载的观测资料。希望大家能在本作业实现linearregression预测出PM2.5的数值。数据集介绍本次作业使用丰原站的观测记录，分成trainset跟testset，trainset是丰原站每个月的前20天所有资料。testset则是从丰原站剩下的资料中取样出来。train.csv:每个月前20天的完整资料。test.csv:从剩下的

李宏毅机器学习任务四】负责人：王佳旭课程设计人：王佳旭#任务时间#请于5月25日22:00前完成，逾期尚未打卡的会被清退学习视频内容：观看观看李宏毅课程内容：p8视频连接：https://www.bilibili.com

【ML入门】李宏毅机器学习笔记01-LearningMap-知乎https://zhuanlan.zhihu.com/p/74377397

Datawhale-2021年10月组队学习李宏毅机器学习打卡Task01Task02Task03李宏毅机器学习打卡Task01参照开源文档，观看视频P1-2：机器学习介绍在视频P1中，李宏毅老师对机器学习进行了整体概括性的介绍

李宏毅机器学习笔记github链接：https://github.com/datawhalechina/leeml-notes李宏毅机器学习笔记在线阅读链接：https://datawhalechina.github.io

【李宏毅机器学习笔记】1、回归问题（Regression）【李宏毅机器学习笔记】2、error产生自哪里？

语音音素分类，是一个41分类问题。给定前k个和后k个frame，来预测中间的一个label。直接运行代码训练，通过SimpleBaseline。简单添加网络层数，增加训练轮次，可以通过MediumBaseline。通过添加Dropout，BatchNorm，调整使用的frame数量，以及隐层数目，可以通过StrongBaseline。代码入下：首先下载数据集#Mainlink!wget-Olibr

李宏毅机器学习2022版Homework1新冠阳性人数预测，根据前四天的数据，预测第五天的阳性人数。（回归）首先下载数据集!

机器学习基本概念介绍让机器具备寻找一个所需函数的能力——两大任务Regression回归回归预测Classification分类判断是否符合要求：True/FlaseStructuredLearning让机器创造一些东西机器学习的步骤——训练1.带有未知的Parameters参数——Model模型已知的参数——featurey=wx+b：weigthbias2.找出Loss简称L(b,w)——损失

系列文章目录李宏毅机器学习2022-hw1李宏毅机器学习2022-hw2文章目录系列文章目录问题概述实验部分Simplebaseline：0.50099Mediumbaseline:0.73207Strongbaseline

深度学习的课程笔记，参考李宏毅机器学习课程一、定义回归是通过输入特征向量来找到函数并输出数值标量。例如，深度学习应用于自动驾驶领域。

这里排版有点难看，等我后面有时间过来重新排版一下。有些图片不确定能否成功粘贴过来，我把印象笔记的链接放到这里：印象笔记day2正文：要自己尽量判断到底是哪些因素导致了error，然后来降低errorbias偏差variance方差estimator估计函数mean平均数variable变量sample抽样抽样N个点，算平均值虽然取样N个样本算出来的mean不一定==u但是如果N很大的话，他们的期望