李宏毅机器学习笔记第5页

[机器学习入门] 李宏毅机器学习笔记-9 （“Hello world” of deep learning；初探深度学习）

PDFVIDEO[机器学习入门]李宏毅机器学习笔记-9（“Helloworld”ofdeeplearning；初探深度学习）PDFVIDEOKeras这里写图片描述这里写图片描述ExampleApplication-HandwritingDigitRecognition

holeung·2020-08-20 20:20

李宏毅机器学习笔记(十六)——无监督学习(四)：自编码器

文章目录一.自编码器的引入二.自编码器的应用1.文本检索2.寻找相似图片3.预训练神经网络4.面向图片的自编码器5.进行内容生成三.自编码器的改进1.去除噪音2.重定义损失函数3.提高编码可解释性(1).特征类分离(2).编码离散化前排提醒这篇文章长度比之前的要长很多。一.自编码器的引入首先我们回到PCA，我们有x−x‾≈∑i=1mciui=x^x-\overlinex\approx\su

Unique13·2020-08-20 19:16

[机器学习入门] 李宏毅机器学习笔记-35（Ensemble part 1；集成方法 part 1）

[机器学习入门]李宏毅机器学习笔记-35（Ensemble；集成方法）Ensemble俗称打群架，想要得到很好的performance，基本都要用这一手。

holeung·2020-08-19 03:57

李宏毅机器学习笔记（8）—半监督学习

分类直推学习：训练过程中使用待测试数据，目的是提高对这些数据分类的正确率。归纳学习：训练过程的目的是提出一个能够泛用的模型，而不是单单为了某些待测试数据。常用方法self-training自我训练：方法非常直观①根据有标签的data训练出一个模型；②把无标签的data代入模型，得到可能性最大的标签③选择②中一些表现比较好的数据（指得到的最大可能性与其他可能性差距较大，即这个label大概率是对的）

Xcc_dd·2020-08-16 14:39

李宏毅机器学习笔记(十三)——无监督学习(一)：聚类算法

文章目录一.什么是数据聚类二.基于GMM的聚类三.k-means聚类法四.层次凝聚聚类五.DBSCAN聚类法一.什么是数据聚类如果我们想要对全部都是无标签的数据进行分类，这时候数据聚类就是一大类方式。聚类的意思顾名思义，按照一定的法则，将部分“相近的”数据聚成同一类，给它们相同的标签即可。下面介绍几种比较有代表性的聚类方法。文章中的GIF图来源于以下文章：https://www.sohu.

Unique13·2020-08-16 11:00

李宏毅机器学习笔记(十一)——图神经网络(GNN)

Unique13·2020-08-16 11:00

李宏毅机器学习笔记(十四)——无监督学习(二)：线性数据降维

文章目录一.什么是数据降维二.主成分分析(PCA)1.基本思想2.数学推导3.从另一个角度看待PCA4.PCA的效果三.其他线性降维方法一.什么是数据降维对于无标签的数据，我们很多时候并不是想将其分类，而是所谓的根据原始特征，精炼出一定的更有代表性的特征，这样既可以减小维度压缩数据量，同时相当于是对数据的一种清洗(例如去除冗余共线性的数据)。因此我们的目标就是，对k个n维的行向量数据xix

Unique13·2020-08-16 11:00

李宏毅机器学习笔记(十)——循环神经网络(RNN)

文章目录一.时间序列模型与神经网络的改进二.RNN的各种变种1.细胞变种——长短期记忆网络(LSTM)2.结构变种3.与传统机器学习相融合三.RNN的梯度下降四.RNN的应用1.多输入单输出问题2.多输入多输出问题3.阅读理解类问题一.时间序列模型与神经网络的改进本次我们以各种语言处理的问题为例。我们先考虑一个实体识别问题：即输入一句话，输出对应的每个字在这句话中属于哪种定义的实体。如果我

Unique13·2020-08-16 11:00

李宏毅机器学习笔记(十二)——半监督学习

文章目录一.什么是半监督学习二.分类问题生成模型中的EM算法三.基于低密度分离的分类1.自我学习2.基于信息熵的正则化3.半监督SVM四.基于平滑假设的分类1.基于聚类的分类方式2.基于图的分类方式(1).定义节点(2).定义边和权重(3).定义图的平滑度(4).综合考虑一.什么是半监督学习在现实中，所谓的数据是很多的，例如图片数据，随处拍都会有很多，然而所谓的有标签的数据，最开始都是要由人来

Unique13·2020-08-16 11:00

李宏毅机器学习笔记(五)——全连接神经网络

文章目录一.线性分类的弊端与神经网络的引入二.深度学习的三个步骤三.全连接神经网络一.线性分类的弊端与神经网络的引入我们可以看如下的异或二分类问题，我们显然可以看到，我们使用一条直线显然是无法将其分开的。但是我们可以用以下思路来想：我们是否可以转变一下特征，做一个所谓的线性变换，使其可以线性可分？这样当然是可以的而且有多种方式，比如视频中所示的方式，再或者是x1x_1x1和x2x_2x2之

Unique13·2020-08-16 11:59

李宏毅机器学习笔记(八)——训练神经网络的进阶技巧

文章目录一.训练后可能出现的问题二.解决欠拟合1.更高级的优化器2.新的激活函数三.解决过拟合1.早期停止——面向第三步优化2.正则化——面向第二步优化3.Dropout——面向第一步优化一.训练后可能出现的问题类似于简单的回归问题，各种神经网络也会存在着欠拟合和过拟合的情况。我们这里不考虑数据集中的噪声和数据量的影响，就考虑使用神经网络的三个步骤。对于一个足够复杂的神经网络，如果出现了欠拟合

Unique13·2020-08-16 10:44

李宏毅机器学习笔记（5）： Classification：Probabilistic Generative Model

Classification：ProbabilisticGenerativeModel分类问题属于比较常见的问题之一了，这次李老师讲的是一个比较基础的分类问题的模型，为了让我们对这个问题进一步了解，可以更好地继续学习。1分类分类问题是通过对大量输入进行分析，寻找模型，将样本进行分类，从而之后输入的样本，可以分类到合适的类。这个问题还是很容易理解的，看例子：接下来对宝可梦的属性进行分类。当然，首先要

wasser000·2020-08-08 23:22

李宏毅机器学习笔记（6）：logistic Regression

这一部分是接着上一部分进行描述的，上一部分，我们把使用贝叶斯公式得到的结果推导，发现结果是一个线性的函数，我们针对这个函数，试试可不可以把这个函数求解出来。很容易发现，这是一个回归问题，我们就把他称作是逻辑回归，做这个回归问题一步一步来吧：1模型选择functionset首先我们还是需要选择合适的模型，确立我们的目标。上一节了解了我们的目标确定相关的P(C1|x)，使用它进行一个判决，高于阈值便确

wasser000·2020-08-08 23:22

李宏毅机器学习笔记（7）：Deep Learning

1前言对于深度学习（神经网络）的应用，在目前这个时间段来说，使用对象，发展研究实在是太多了。这也可以算是这个时代非常热门的一项技术了。这里可以看一下，图1-1了解下深度学习的历史上的起伏。图1-1深度学习的历史上的起伏可以看到58年提出感知机后由于有人提出了感知机受限后就冷下去了，后经历了一些起伏直到06年的RBM（受限玻尔兹曼机）的提出。RBM提出使得深度学习得到了发展与突破，但是RBM其实并没

wasser000·2020-08-08 23:50

李宏毅机器学习笔记（8）：backpropagation

0引言回顾一下之前学习过的，在求解神经网络时，我们通常使用梯度下降算法进行求解。首先，先自定义一组参数作为我们的起始值，之后计算我们需要使用的梯度，有了梯度之后就可以利用它进行迭代求解了，如图0-1。显而易见的是，在一个神经网络中，可能参数数目成千上万，远超过我们的想象，那么这么庞大的计算量，我们就需要一些可以辅助我们的工具。backpropagation（反向传播）可以帮助我们有效的进行渐变迭代

wasser000·2020-08-08 23:50

李宏毅机器学习笔记2020（一）

一、机器学习的本质就是自动寻找函式例如二、寻找什么样子得到函数式1.regression（回归）：Theoutputofthefunctionisascalar.:函数的输出是一个数值例如：2.classfication（分类）：1）BinaryClassification(二元分类):2）multi-classClassification(多层次分类):3.generation（生成)：产生有结

阿归i·2020-08-04 08:58

[机器学习入门] 李宏毅机器学习笔记-33 (Recurrent Neural Network part 2;循环神经网络 part 2)

[机器学习入门]李宏毅机器学习笔记-33(RecurrentNeuralNetworkpart2;循环神经网络part2)PDFVIDEORNNLearningTargetcost就是每一个时间点的output

holeung·2020-08-04 01:55

李宏毅机器学习笔记(四)——分类问题

文章目录一.二分类问题1.贝叶斯分类器2.Logistic回归3.生成模型vs判别模型二.多分类问题1.选择预测函数(1).指数族分布(2).广义线性模型假设(3).softmax回归2.计算损失值3.优化一.二分类问题在二分类中，最终我们要的输出就是两个数值，代表着分到了第一类还是第二类。对比一下我们的回归问题，对于每个点输出的值是在整个实数范围内的，因此分类不能直接的用回归的思想去解决，要

Unique13·2020-08-03 15:15

【李宏毅机器学习笔记】8、Tips for Training DNN

【李宏毅机器学习笔记】1、回归问题（Regression）【李宏毅机器学习笔记】2、error产生自哪里？

qqqeeevvv·2020-08-03 12:38

【李宏毅机器学习笔记】 24、集成学习（Ensemble）

【李宏毅机器学习笔记】1、回归问题（Regression）【李宏毅机器学习笔记】2、error产生自哪里？

qqqeeevvv·2020-08-03 12:38

【李宏毅机器学习笔记】 18、支持向量机（Support Vector Machine，SVM）

【李宏毅机器学习笔记】1、回归问题（Regression）【李宏毅机器学习笔记】2、error产生自哪里？

qqqeeevvv·2020-08-03 12:38

【李宏毅机器学习笔记】 17、迁移学习（Transfer Learning）

【李宏毅机器学习笔记】1、回归问题（Regression）【李宏毅机器学习笔记】2、error产生自哪里？

qqqeeevvv·2020-08-03 12:06

【李宏毅机器学习笔记】 23、循环神经网络（Recurrent Neural Network，RNN）

【李宏毅机器学习笔记】1、回归问题（Regression）【李宏毅机器学习笔记】2、error产生自哪里？

qqqeeevvv·2020-08-02 15:59

【李宏毅机器学习笔记】 12、Unsupervised Learning - Linear Methods

【李宏毅机器学习笔记】1、回归问题（Regression）【李宏毅机器学习笔记】2、error产生自哪里？

qqqeeevvv·2020-08-02 15:27

[机器学习入门] 李宏毅机器学习笔记-4（Where does the error come from ；误差分析）

PDFVIDEO[机器学习入门]李宏毅机器学习-4（Wheredoestheerrorcomefrom?；误差分析）PDFVIDEOReview这里写图片描述Estimator这里写图片描述BiasandVarianceofEstimator这里写图片描述Variance这里写图片描述Bias这里写图片描述这里写图片描述Biasv.s.Variance这里写图片描述Whattodowithlarg

holeung·2020-07-27 15:59

李宏毅机器学习笔记01

线性回归好记性不如烂笔头，梳理了一下知识点，方便自己忘记时，巩固知识首先是机器学习的三个步骤：Step1:ModelStep2:GoodnessofFunctionStep3:FindthebestfunctionStep1:本次是分析宝可梦（神奇宝贝！！！）进化前的CP值对进化后的CP值的预测。线性回归的分析，这里先假设model是f(xncp)=b+w*xncpStep2:建立一个随时函数来判

矜持的小牙刷·2020-07-14 21:44

李宏毅机器学习笔记(二)——欠拟合与过拟合

文章目录一.误差的来源1.实例——手枪打靶2.打靶与回归的联系3.方差的来源4.偏差的来源5.欠拟合与过拟合的概念二.减少误差的策略一.误差的来源这里的误差就是指我们在测试集上的误差，而不是训练集上的损失值。1.实例——手枪打靶我们把每次的打靶看成是独立同分布的样本，中心为我们的目标。我们很容易可以看出，误差来源于两个部分：偏差(bias)和方差(variance)。其中偏差指的是样本的平

Unique13·2020-07-12 22:47

机器学习之Ensemble（一些推导与理解）

本文借助了李宏毅机器学习笔记，主要是想用通俗易懂的语言来解释相关概念，并且使自己掌握得更加牢靠！！集成学习主要分为串行的Boosting和并行的Bagging，以及Stacking，下面将依次介绍。

Cyril_KI·2020-07-12 21:47

李宏毅机器学习笔记(一)——线性回归

文章目录一.什么是回归二.回归的简单例子与步骤1.提出问题2.建立函数模型3.评价预估函数的好坏4.如何找到最优参数5.利用测试集对结果进行评估6.重新选择函数模型，进入循环一.什么是回归总的来说，其实回归就是一种预测。我们给出了一些已有的数据和对应的结果，然后我们又给出了一些未知结果的数据，然后我们去找出一个函数，去尽量好的得到对应的结果，这其实就是广义上的回归问题。当然，这个所谓的"函

Unique13·2020-07-12 20:27

[机器学习入门] 李宏毅机器学习笔记-32 (Recurrent Neural Network part 1;循环神经网络 part 1)

[机器学习入门]李宏毅机器学习笔记-32(RecurrentNeuralNetworkpart1;循环神经网络part1)PDFVIDEORecurrentNeuralNetworkExampleApplicationslot

holeung·2020-07-11 23:46

[机器学习入门] 李宏毅机器学习笔记-13 （Semi-supervised Learning ;半监督学习）

[机器学习入门]李宏毅机器学习笔记-13（Semi-supervisedLearning;半监督学习）PDFVIDEOIntroductionWhysemi-supervisedlearninghelps

holeung·2020-07-11 23:15

李宏毅机器学习笔记一

Contents0IntroductionofthisCourse1Regression-CaseStudy2Wheredoestheerrorcomefrom?3GradientDescent4Classification5LogisticRegression6BriefIntroductionofDeepLearning7Backpropagation0IntroductionofthisCo

niuyoudao·2020-07-11 02:17

【ML】李宏毅机器学习笔记

jc2020_·2020-07-10 05:55

[机器学习入门] 李宏毅机器学习笔记-6 （Classification: Logistic Regression；逻辑回归）

[机器学习]李宏毅机器学习笔记-6（Classification:LogisticRegression；Logistic回归）PDFVIDEOThreestepsStep1:FunctionSetStep2

holeung·2020-07-10 02:46

[机器学习入门] 李宏毅机器学习笔记-11（Convolutional Neural Network；卷积神经网络）

[机器学习入门]李宏毅机器学习笔记-11（ConvolutionalNeuralNetwork；卷积神经网络）PDFVIDEOWhyCNNforImage?CNN经常作用于图像识别。

holeung·2020-07-08 06:00

机器学习 —— 李宏毅机器学习笔记（五）—— 概率生成模型

概率生成模型概率生成模型，简称生成模型（GenerativeModel），是概率统计和机器学习中的一类重要模型，指一系列用于随机生成可观测数据的模型。生成模型的应用十分广泛，可以用来不同的数据进行建模，比如图像、文本、声音等。比如图像生成，我们将图像表示为一个随机向量X，其中每一维都表示一个像素值。假设自然场景的图像都服从一个未知的分布pr(x)，希望通过一些观测样本来估计其分布。也就是说，生成模

ProQianXiao·2020-07-06 23:33

【李宏毅机器学习笔记5】Classification 概率生成模型

背景博客参考：https://blog.csdn.net/Allenlzcoder/article/details/78989160本节课以二分类问题为例，详细讲解了模型建立的过程及其背后的数学原理。分类问题的理想模型如下图所示，定义损失函数，给定一个输入值，模型便能输出类别。注释1：不能用回归做分类的原因是：因为单纯用数字定义class的话，model会因为这些数字之间的远近而以为这些trann

FCer·2020-07-06 05:38

2018-3-21李宏毅机器学习笔记十一-----Brief Introduction of Deep Learning？

我觉的有用的：BP神经网络_百度百科https://baike.baidu.com/item/BP%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/4581827?fr=aladdin视频来源：李宏毅机器学习(2017)_哔哩哔哩(゜-゜)つロ干杯~-bilibilihttps://www.bilibili.com/video/av10590361/?p=13DeepLea

橘子甜不甜·2020-07-04 23:11

[机器学习入门] 李宏毅机器学习笔记-14 （Unsupervised Learning: Linear Dimension Reduction；无监督学习：线性降维）

[机器学习入门]李宏毅机器学习笔记-14（UnsupervisedLearning:LinearDimensionReduction；线性降维）PDFVIDEOUnsupervisedLearning把

holeung·2020-07-01 18:44

[机器学习入门] 李宏毅机器学习笔记-13 （Semi-supervised Learning ;半监督学习）

[机器学习入门]李宏毅机器学习笔记-13（Semi-supervisedLearning;半监督学习）PDFVIDEOIntroduction这里写图片描述Whysemi-supervisedlearninghelps

holeung·2020-06-30 11:32

[机器学习入门] 李宏毅机器学习笔记-12 （Why Deep Learning? ; 为什么是深度学习？）

[机器学习入门]李宏毅机器学习笔记-12（WhyDeepLearning?;为什么是深度学习？）|PDF|VIDEO||---|----|DeeperisBetter?

holeung·2020-06-28 11:39

[机器学习入门] 李宏毅机器学习笔记-12 （Why Deep Learning? ; 为什么是深度学习？）

[机器学习入门]李宏毅机器学习笔记-12（WhyDeepLearning?;为什么是深度学习？）PDFVIDEODeeperisBetter?

holeung·2020-06-26 14:08

[机器学习入门] 李宏毅机器学习笔记-10 （Tips for Deep Learning；深度学习小贴士）

[机器学习入门]李宏毅机器学习笔记-10（TipsforDeepLearning；深度学习小贴士）PDFVIDEORecipeofDeepLearning在trainingdata上的performance

holeung·2020-06-26 14:08

[机器学习入门] 李宏毅机器学习课程回顾 + 接下来的学习声明

Lookbackatthepastandlookforwardtothefuture.李宏毅机器学习回顾从五月二十日发布第一篇《[机器学习入门]李宏毅机器学习笔记-1(LearningMap课程导览图)

holeung·2020-06-26 14:37

李宏毅机器学习笔记第一章：摘要

课程时间：2017/02/23—2017/06/15原视频链接：http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML19.html原网站有配套的PPT以及HomeWork.B站视频链接：https://www.bilibili.com/video/BV13x411v7USWhatisMachineLearning？（什么是机器学习）用拟人的方法来讲，Mach

牛子未·2020-05-10 22:29

[机器学习入门] 李宏毅机器学习笔记-8（Backpropagation；反向传播算法）

[机器学习入门]李宏毅机器学习笔记-8（Backpropagation；反向传播算法）PDFVIDEO当我们要用gradientdescent来train一个neuralnetwork，要怎么做？

holeung·2020-04-13 13:51

[机器学习入门] 李宏毅机器学习笔记-11（Convolutional Neural Network；卷积神经网络）

PDFVIDEO[机器学习入门]李宏毅机器学习笔记-11（ConvolutionalNeuralNetwork；卷积神经网络）PDFVIDEOWhyCNNforImage?CNN经常作用于图像识别。

holeung·2020-04-05 21:00

[机器学习入门] 李宏毅机器学习笔记-25（Sturctured Linear Model；结构化预测-线性模型）

[机器学习入门]李宏毅机器学习笔记-25（SturcturedLinearModel；结构化预测-线性模型）PDFVIDEOStructuredLinearModel这里写图片描述Problem1$\phi

holeung·2020-04-02 23:13

李宏毅老师机器学习课程笔记_ML Lecture 3-1: Gradient Descent

引言：这个系列的笔记是台大李宏毅老师机器学习的课程笔记视频链接（bilibili）：李宏毅机器学习(2017)另外已经有有心的同学做了速记并更新在github上：李宏毅机器学习笔记(LeeML-Notes

leogoforit·2020-04-01 12:00

李宏毅老师机器学习课程笔记_ML Lecture 2: Where does the error come from?

视频链接（bilibili）：李宏毅机器学习(2017)另外已经有有心的同学做了速记并更新在github上：李宏毅机器学习笔记(LeeML-Notes)所以，接下来我的笔记只记录一些我自己的总结和听课当时的

leogoforit·2020-03-30 15:23

推荐频道

李宏毅机器学习笔记

[机器学习入门] 李宏毅机器学习笔记-9 （“Hello world” of deep learning；初探深度学习）

李宏毅机器学习笔记(十六)——无监督学习(四)：自编码器

[机器学习入门] 李宏毅机器学习笔记-35（Ensemble part 1；集成方法 part 1）

李宏毅机器学习笔记（8）—半监督学习

李宏毅机器学习笔记(十三)——无监督学习(一)：聚类算法

李宏毅机器学习笔记(十一)——图神经网络(GNN)

李宏毅机器学习笔记(十四)——无监督学习(二)：线性数据降维

李宏毅机器学习笔记(十)——循环神经网络(RNN)

李宏毅机器学习笔记(十二)——半监督学习

李宏毅机器学习笔记(五)——全连接神经网络

李宏毅机器学习笔记(八)——训练神经网络的进阶技巧

李宏毅机器学习笔记（5）： Classification：Probabilistic Generative Model

李宏毅机器学习笔记（6）：logistic Regression

李宏毅机器学习笔记（7）：Deep Learning

李宏毅机器学习笔记（8）：backpropagation

李宏毅机器学习笔记2020（一）

[机器学习入门] 李宏毅机器学习笔记-33 (Recurrent Neural Network part 2;循环神经网络 part 2)

李宏毅机器学习笔记(四)——分类问题

【李宏毅机器学习笔记】8、Tips for Training DNN

【李宏毅机器学习笔记】 24、集成学习（Ensemble）

【李宏毅机器学习笔记】 18、支持向量机（Support Vector Machine，SVM）

【李宏毅机器学习笔记】 17、迁移学习（Transfer Learning）

【李宏毅机器学习笔记】 23、循环神经网络（Recurrent Neural Network，RNN）

【李宏毅机器学习笔记】 12、Unsupervised Learning - Linear Methods

[机器学习入门] 李宏毅机器学习笔记-4（Where does the error come from ；误差分析）

李宏毅机器学习笔记01

李宏毅机器学习笔记(二)——欠拟合与过拟合

机器学习之Ensemble（一些推导与理解）

李宏毅机器学习笔记(一)——线性回归

[机器学习入门] 李宏毅机器学习笔记-32 (Recurrent Neural Network part 1;循环神经网络 part 1)

[机器学习入门] 李宏毅机器学习笔记-13 （Semi-supervised Learning ;半监督学习）

李宏毅机器学习笔记一

【ML】 李宏毅机器学习笔记

[机器学习入门] 李宏毅机器学习笔记-6 （Classification: Logistic Regression；逻辑回归）

[机器学习入门] 李宏毅机器学习笔记-11（Convolutional Neural Network；卷积神经网络）

机器学习 —— 李宏毅机器学习笔记（五）—— 概率生成模型

【李宏毅机器学习笔记5】Classification 概率生成模型

2018-3-21李宏毅机器学习笔记十一-----Brief Introduction of Deep Learning？

[机器学习入门] 李宏毅机器学习笔记-14 （Unsupervised Learning: Linear Dimension Reduction；无监督学习：线性降维）

[机器学习入门] 李宏毅机器学习笔记-13 （Semi-supervised Learning ;半监督学习）

[机器学习入门] 李宏毅机器学习笔记-12 （Why Deep Learning? ; 为什么是深度学习？）

[机器学习入门] 李宏毅机器学习笔记-12 （Why Deep Learning? ; 为什么是深度学习？）

[机器学习入门] 李宏毅机器学习笔记-10 （Tips for Deep Learning；深度学习小贴士）

[机器学习入门] 李宏毅机器学习课程回顾 + 接下来的学习声明

李宏毅机器学习笔记第一章：摘要

[机器学习入门] 李宏毅机器学习笔记-8（Backpropagation；反向传播算法）

[机器学习入门] 李宏毅机器学习笔记-11（Convolutional Neural Network；卷积神经网络）

[机器学习入门] 李宏毅机器学习笔记-25（Sturctured Linear Model；结构化预测-线性模型）

李宏毅老师机器学习课程笔记_ML Lecture 3-1: Gradient Descent

李宏毅老师机器学习课程笔记_ML Lecture 2: Where does the error come from?

【ML】李宏毅机器学习笔记