机器学习基石第2页

【机器学习基石】VC dimension（七）

本文整理自台湾大学林轩田的《机器学习基石》1.VCdimension的定义∙\bullet∙首

世一渔·2022-12-28 12:24

机器学习 | 台大林轩田机器学习基石课程笔记7 --- The VC Dimension

课程主页课程视频和PPT前几节课着重介绍了机器能够学习的条件并做了详细的推导和解释。机器能够学习必须满足两个条件：假设空间H的SizeM是有限大的，即当N(D的大小)足够大时，那么对于假设空间中任意一个假设h，有.利用演算法A从假设空间H中，挑选一个最好的h，记为g，使得,则。这两个条件，正好对应着test和trian两个过程。train的目的是使损失期望;；test的目的是使将算法用到新的样本时

CoreJT·2022-12-28 12:22

机器学习基石 - The VC Dimension

机器学习基石上(MachineLearningFoundations)—MathematicalFoundationsHsuan-TienLin,林轩田，副教授(AssociateProfessor)，

纫秋兰以为佩·2022-12-28 12:52

林轩田机器学习基石Lecture 7:The_VC_Dimension

@Lecture7:The_VC_Dimension上节课讲到mH会被N的多项式bound住，N的多项式又会小于N的k-1次方，因此坏事情（H的Ein和Eout离得很远）发生的概率会被bound住DefifinitionofVCDimensionVCDimension的定义，即最小的breakpoint-1,也就是能H可以shatter的最大的点的数量也就是说好的H，是有breakpoint的，是

qq_42580910·2022-12-28 12:21

林轩田机器学习基石心得7：The VC Dimension

该文章为本人观看视频心得，详细笔记可前往：http://blog.csdn.net/red_stone1/article/details/711912320.前言前一课中着重介绍了机器能够学习的条件并做了详细的推导和解释。机器学习可行需要满足两个条件：-Ein≈Eout-Ein≈0上次课引入了breakpoint，并推导出只要breakpoint存在，则M有上界，一定存在Ein≈Eout这次课主要

Augus_Xu·2022-12-28 12:51

机器学习基石 Lecture7: The VC Dimension

机器学习基石Lecture7:TheVCDimensionDefinitionofVCDimensionVCDimensionofPerceptronsPhysicalIntuitionofVCDimensionInterpretingVCDimensionDefinitionofVCDimension

无所知·2022-12-28 12:20

台湾国立大学（林轩田）《机器学习基石》（第7-8讲）VC Dimension ，Noise and Error

class.coursera.org/ntumlone-001/class课件讲义：http://download.csdn.net/download/malele4th/10208897注明：文中图片来自《机器学习基石

九方先生·2022-12-28 12:50

林轩田《机器学习基石》课程笔记第七章-VC Dimension

林轩田《机器学习基石》课程笔记7-VCDimension一、概念VCDimension就是某假设集H能够shatter的最多的input的个数，即最大完全正确的分类能力。

f_jiaqi·2022-12-28 12:19

【台大林轩田《机器学习基石》笔记】Lecture 7——The VC Dimension

文章目录Lecture7:TheVCDimensionDefinitionofVCDimensionVCDimensionofPerceptronsPhysicalIntuitionofVCDimensionInterpretingVCDimensionLecture7:TheVCDimensionDefinitionofVCDimension定义：VCDimensiondvc=k−1d_{vc}

T1en·2022-12-28 12:19

《机器学习基石》学习笔记 7 The VC Dimension

前几节课着重介绍了机器能够学习的条件并做了详细的推导和解释。机器能够学习必须满足两个条件：假设空间H的SizeM是有限的，即当N足够大的时候，那么对于假设空间中任意一个假设g，Eout≈EinE_{out}\approxE_{in}Eout≈Ein。利用算法A从假设空间H中，挑选一个g，使Ein(g)≈0E_{in}(g)\approx0Ein(g)≈0，则Eout≈0E_{out}\approx

coyote_xujie·2022-12-28 12:48

机器学习基石第七讲：the vc dimension

博客已经迁移至Marcovaldo’sblog(http://marcovaldong.github.io/)机器学习基石第七讲主要介绍了VCdimension，笔记整理在下面。

Marcovaldo·2022-12-28 12:18

机器学习基石 7.4 Interpreting VC Dimension

文章目录VCBoundRephrase:PenaltyforModelComplexityTHEVCMessageVCBoundRephrase:SampleComplexityLoosenessofVCBoundFunTimeVCBoundRephrase:PenaltyforModelComplexityVCBound：改述：好事情发生（GOOD）gen.error：generalizatio

我成为一只小羊·2022-12-28 12:18

机器学习基石 7.2 VC Dimension of Perceptrons

文章目录2DPLARevisitedVCDimensionofPerceptronsExtraFunTime$d_{VC}\geqslantd+1$CanWeShatter$X$?ExtraFunTime$d_{VC}\leqslantd+1$2DPLARevisitedVCDimensionofPerceptrons要证明这个事情分为两步：ExtraFunTime如何证明dVC⩾d+1d_{VC

我成为一只小羊·2022-12-28 12:48

机器学习基石 7.3 Physical Intuition of VC Dimension

文章目录DegreesofFreedomTwoOldFriends$M$and$d_{VC}$FunTimeDegreesofFreedomd+1d+1d+1实际上是perceptron的维度。w\mathbf{w}w代表了hypothesis的自由度。hypothesis的大小M=∣H∣M=|\mathcal{H}|M=∣H∣模拟了自由度。dVC=d+1d_{VC}=d+1dVC=d+1代表了有

我成为一只小羊·2022-12-28 12:48

机器学习基石 7.1 Definition of VC Dimension

文章目录VCDimensionTheFourVCDimensionsVCDimensionandLearningFunTimeVCDimension最大的non-breakpoint的正式名称：VCDimension，记为dVCd_{VC}dVC。TheFourVCDimensions好的hypothesisset的dVCd_{VC}dVC是有限的。VCDimensionandLearningFu

我成为一只小羊·2022-12-28 12:47

机器学习基石1（ML基本概念和VC dimension）

文章目录一、什么是机器学习?二、什么时候可以使用机器学习?三、感知机perceptron四、机器学习的输入形式五、机器真的可以学习吗？六、vcdimension一、什么是机器学习?其实第一个问题和第二个问题是穿插到一块儿回答的，首先机器学习要解决的是常规的if-else类编程无法解决的问题，也就是说我们的if-else无法涵盖到所有的情况（即，输入程序的数据分布是不可知的）。有如下问题：给定一个有

圆月弯刀鞘·2022-12-28 12:17

【机器学习】白板公式推导-1-书籍&视频

介绍书籍列表频率派-统计机器学习统计学习方法-李航ESL贝叶斯派-概率图模型模式识别与机器学习（PRML）-ChristopherM.BishopMLAPP其他机器学习（西瓜书）-周志华深度学习（花书）视频列表机器学习基石

暖焱·2022-12-20 17:01

模式识别系列（一）感知器算法（PLA）

）2.1权重向量和特征向量到分类面的距离2.2PLA的原理和流程2.3PLA的收敛性证明3.不可分数据的优化方式写在前头本系列博客主要是对我大三这一年学到的知识整理，参考课程的ppt和林轩田老师的机器学习基石

人工小智障·2022-12-16 13:49

机器学习基石笔记（一）：学习的问题

文章目录Lecture1TheLearningProblemCourseIntroductionWhatisMachineLearningKeyEssenceofMachineLearningFunTimeApplicationsofMachineLearningFunTimeComponentsofMachineLearningBasicNotationsFunTimeMachineLearni

夜是故乡明·2022-11-29 11:20

机器学习基石课程学习笔记(一)：机器学习的组成

CompoentsofLearning场景描述：银行需要给借贷者办理一张信用卡，银行需要判断借贷者拿到信用卡啊后会好好使用还是会欠债不还。以上是用抽象化的符号来表示机器学习：输入：X（用户申请信用卡时填写的个人信息）输出：Y（要不要给借贷者办理卡）目标函数fX->Y：未知的将X到Y的映射，也就是需要通过机器学习去拟合的函数dataD{（x1,y1）,(x2,y2),…}：银行收集的不同用户的资料，

Mr . 孤独患者·2022-11-29 11:38

《机器学习基石》课程笔记（3）

不同输出空间下的机器学习输出空间实际应用二元分类Y={−1,+1}信用卡分发或不分发、识别垃圾邮件和非垃圾邮件、病人有病或没病、广告是否盈利、答案是否正确多元分类Y={1,2,3,...,K}手写字体分类、图片识别、垃圾邮件更详细的分类回归Y=R或者Y=[lower,upper]⊂R根据病人的特征判断还有多长时间痊愈、通过公司数据预测股票价格、根据天气数据预测温度结构化学习（序列标记问题）Y=st

nudt_oys·2022-11-26 02:18

机器学习基石课程学习笔记

机器学习基石课程学习笔记机器学习的本质机器学习的本质是在大量的数据中通过计算对自身的表现做出改进的故过程。

Mr . 孤独患者·2022-11-26 02:13

机器学习基石——Heoffding不等式推导

该文推导参考了https://www.cnblogs.com/kolmogorov/p/9518867.htmlhttps://blog.csdn.net/hedan2013/article/details/763370400.Heoffding不等式是独立的随机变量（不一定同分布）；；；。1.证明Heoffding不等式，首先得先证明其中是一个随机变量，，，。由于为凸函数，所以，这个是凸函数的性

周二下午多云转小雨·2022-11-12 15:41

林轩田-机器学习基石-作业3-python源码

大家好，以下是林轩田机器学习基石--作业3的Python的参考代码，自己码的。Python方面没有工程经验，如有错误或者更好的代码优化方法，麻烦大家留言提醒一下下，大家互相交流学习，谢谢。

周周周睿·2022-10-19 13:06

机器学习基石作业0

机器学习基石作业01ProbabilityandStatistics2LinearAlgebra3Caculus网上没找到作业0的答案，这是自己做的版本，有一些可能会有错误，欢迎讨论。

无所知·2022-05-30 09:18

林轩田-机器学习基石-作业4-python源码

正则化线性回归（regularizedlinearregression）和验证（validation）的实验对于正则化线性回归下的分类问题，我们有Wreg=argmin(λ/N*||W||^2+1/N*||XW-Y||^2)以下问题均基于##训练集：http://www.csie.ntu.edu.tw/~htlin/course/ml15fall/hw4/hw4_train.dat##测试集：ht

周周周睿·2022-05-19 07:46

機器學習基石(Machine Learning Foundations) 机器学习基石作业二课后习题解答

大家好，我是MacJiang,首先祝贺大家清明节快乐！作为一名苦逼的程序员，博主只能窝在实验室玩玩游戏，顺便趁着大早上没人发一篇微博。不过还是祝各位出行的兄弟玩的开心！今天和大家分享coursera-NTU-機器學習基石(MachineLearningFoundations)-作业二的习题解答。笔者在做这些题目时遇到很多困难，当我在网上寻找答案时却找不到，而林老师又不提供答案，所以我就想把自己做题

Mac Jiang·2022-05-19 07:53

機器學習基石机器学习基石（Machine Learining Foundations）作业2 Q16-18 C++实现

大家好，我是MacJiang,今天和大家分享Coursera-NTU-機器學習基石（MachineLearningFoundations）-作业2Q16-18的C++实现。虽然有很多大神已经在很多博客中给出了Phython的实现，但是给出C++实现的文章明显较少，这里为大家提供一条C++实现的思路！我的代码虽然能够得到正确答案，但是其中可能有某些思想或者细节是错误的，如果各位博友发现，请及时留言纠

Mac Jiang·2022-05-19 07:52

机器学习技法(林軒田)笔记之一

机器学习技法(林軒田)笔记之一LinearSupportVectorMachineCourseIntroductionCourseHistoryCourseDesign在本课程中机器学习基石课程中所讲到的基本工具

xiaopihaierletian·2022-03-15 10:45

机器学习基石笔记（四）：学习的可行性

文章目录Lecture4:FeasibilityofLearningLearningisImpossible?NoFreeLunchFunTimeProbabilitytotheRescueHoeffding’sInequalityFunTimeConnectiontoLearningFunTimeConnectiontoRealLearningMultiplehBADSampleandBADDa

夜是故乡明·2022-02-24 07:03

AI 学习路线图

入门视频吴恩达-MachineLearning&笔记林轩田-机器学习基石&笔记林轩田-机器学习技法&笔记吴恩达-deeplearning.ai&笔记李宏毅-机器学习和深度学习的相关课程学习路线https

cqbamboo·2022-02-21 22:26

机器学习基石第十节

LogisticRegression转自https://blog.csdn.net/red_stone1/article/details/72229903上一节课，我们介绍了LinearRegression线性回归，以及用平方错误来寻找最佳的权重向量w，获得最好的线性预测。本节课将介绍LogisticRegression逻辑回归问题。一、LogisticRegressionProblem一个心脏病

硌手小石头·2022-02-19 19:33

台湾大学林轩田机器学习（1）---The Learning Problem

最近在看NTU林轩田的《机器学习基石》课程，整个基石课程分成四个部分：WhenCanMachineLearn?WhyCanMachineLearn?HowCanMachineLearn?

文子轩·2022-02-18 07:54

最小二乘法的两个观点

两个观点看最小二乘法写在前面传统角度的最优化问题线性代数角度的近似解写在最后写在前面之前在学习《机器学习基石》的线性回归章节的时候，林老师在最后的部分给了最小二乘的另一种观点当时很不理解。

量子智能龙哥·2022-02-18 07:05

ApacheCN 机器学习译文集 20211111 更新

台湾大学林轩田机器学习笔记机器学习基石1--TheLearningProblem2--LearningtoAnswerYes/No3--TypesofLearning4--FeasibilityofLearning5

·2021-11-13 19:50

3.1 Types of Learning - Learning with Different Output Space|机器学习基石（林轩田）-学习笔记

文章原创,最近更新：2018-07-17学习链接:3.1TypesofLearning-LearningwithDifferentOutputSpace学习参考链接:1、台湾大学林轩田机器学习基石课程学习笔记

努力奋斗的durian·2021-06-20 17:58

3.4 Types of Learning - Leaming with Different Input Space |机器学习基石（林轩田）-学习笔记

文章原创,最近更新：2018-07-18学习链接:3.4TypesofLearning-LeamingwithDifferentInputSpace学习参考链接:1、台湾大学林轩田机器学习基石课程学习笔记

努力奋斗的durian·2021-06-13 05:57

机器学习基石下--logistic regression

Gradientoflogisticregressionerror下一步，求Ein(w)的最小值。可以证明Ein(w)是连续、可微、二次可微的，且二次微分矩阵为正定矩阵。因此Ein(w)是个凸函数（convex）。image.pngEin(w)的梯度：image.png想要Ein(w)的梯度等于0，有两种情况image.png一种是所有的θ项都为0，这种情况只有在数据集是线性可分时才会出现。另一种

叶十七_57d3·2021-06-04 14:55

机器学习基石（二）

《机器学习基石》是国立台湾大学林轩田讲授的一门课程，课程的续集是《机器学习技法》。《机器学习基石》是网上热荐的一门机器学习课程，相关资源可以在youtube找到，也可在评论区索要云盘链接。

宣的写字台·2021-05-06 12:27

机器学习基石第九讲 Linear Regression

初学机器学习，在看到视频的第九讲第三个部分也就是GeneralizationIssue遇到了不少难点，网上详细讲的也不多，最后请教实验室的大神给我讲解的，今天在这分享一下。难点主要问题是由这个公式开始problem.pngy怎么变成了noise(I-H)转换到(N-(d+1))的平方怎么消失了已知可由之前的两个视屏得到：公式1公式2公式3公式4，[证明](http://www.cnblogs.co

老豆腐·2021-04-24 22:37

《机器学习基石》学习笔记<5>

WhyCanMachinesLearning?按例放上学习进度:DRoadmap前面的4课解决了机器能学习的条件，即when，现在开始思考机器能学习的原理。一、Recapandpreview首先整理下之前get到的知识:P目前，我们已经知道了，当h的个数M有限时，且N足够大，A选中的那个g,会有Ein(g)≈Eout(g)（现成资料D里的g的错误率可以推出机器预测未知的资料的出错率，并且很接近哦）

glassyw·2021-04-20 08:20

【机器学习基石】噪声和概率目标, 错误衡量, 8-1，8-2，8-3

Lec8-1噪声和概率目标有噪声的数据回顾learningflow，我们有一个targetfunction，这个targetfunction会产生一堆的example资料，除了从targetfunction得到资料的y以外，它的x的部分是由某一个我们所不知道的distribution所产生的。未来在测试的时候，我们也会用一样的distribution。我们的演算法A想办法从这些资料还有一个hypo

茹忆小玉儿·2020-10-22 23:30

机器学习入门规划

学习内容：1、周志华西瓜书2、机器学习实战3、吴恩达机器学习、深度学习视频4、机器学习基石台大5、数据结构书6、python入门笔记7、java学习手册8、牛

奇葩诗仙·2020-10-11 10:39

【机器学习基石】VC维的物理意义，深入了解VC dimension 7-3， 7-4

7-3VCdimension的物理意义dVC=d+1,那么d+1是什么，d+1就是perceptron的维度，VCdimension跟perceptron的dimension就扯上关系了。或者进一步来说，我们可以看成，这些perceptron，这些hypothesis，它是用这些w来表示，这些w是什么，W实际上代表了我们的hypothesisset里面的degreesoffreedom（自由度）是

茹忆小玉儿·2020-10-08 23:34

林軒田《机器学习基石》课程总结

最近发布了一系列台湾大学资讯工程系林軒田（Hsuan-TienLin）教授开设的《机器学习基石》的课程总结，分为4个部分，点击标题可查看：机器什么时候能够学习？

分析101·2020-09-22 18:00

机器怎样可以学得更好？

本系列是台湾大学资讯工程系林軒田（Hsuan-TienLin）教授开设的《机器学习基石》课程的梳理。重在梳理，而非详细的笔记，因此可能会略去一些细节。

分析101·2020-09-21 20:00

机器学习&深度学习&大数据&数据库学习资料

林轩田：机器学习基石链接：http://pan.baidu.com/s/1qXSKZP64密码：dwie林轩田：機器學習技法(MachineLearningTechniques)链接：http://pan.baidu.com

执子之手0038·2020-09-15 23:54

机器怎样学习？