机器学习基石第6页

台大林轩田《机器学习基石》：作业一python实现

台大林轩田《机器学习基石》：作业一python实现台大林轩田《机器学习基石》：作业二python实现台大林轩田《机器学习基石》：作业三python实现台大林轩田《机器学习基石》：作业四python实现完整代码

不晓得X·2018-06-20 20:31

机器学习基石2 学习笔记

Lesson5机器学习模型，GrowthFunction+这章节的内容是Whycanmachineslearn?通过三节Lesson来引入“VC维”这个概念，来证明机器学习的模型在处理训练集数据，一定存在模型并且模型是正确的。+GrowthFunction\(m_{_\mathcal{H}}\)基于上一课学到的Hoeffding不等式，在数据集上有出现\(E_{in}(\mathcal{h})\)

Tancred·2018-06-09 11:00

机器学习基石1 学习笔记

FoundationLesson1CourseIntroductionFoundation作为在大学课堂上教授课程的前半部分，Techniques是大学课堂上教授课程的后半部分。这里的Foundation和Techniques是根据Cousera的编排需求而修订的。What'smachinelearning?Learning是什么？机器学习定义是什么机器学习是我们希望用电脑来模拟或模仿人类的学习过

Tancred·2018-06-09 10:00

Python 机器学习基石作业1

实现PLA和Pocket算法importsysimportnumpyasnpimportrandomasrddefloadfile(file_path):fil=open(file_path)lines=fil.readlines()num=len(lines)X=np.zeros((num,5))Y=np.zeros((num,1))index=0forlineinlines:items=lin

codingcyx·2018-05-29 23:18

机器学习基石（林轩田）第七章笔记与感悟总结

7.1VC尺寸-VC尺寸的定义我们上个周证明了艾因约等于Eout的，即测试的表现和训练的表现相似。在成长函数在某个地方有breakpoint和N足够大的时候。意义在于之后介绍的VC维度。我们以后就不用B（N，k）的的这种麻烦的写法了，只需要使用NR个（K-1）这种简单的写法。因为N^（K-1）是最大的上限。vcbound，在我们Hset中有h发生坏事情的概率很小，无论我么选择什么g，发生坏事情的概

Jason__Liang·2018-05-25 16:13

机器学习基石（林轩田）第六章笔记与感悟总结

6.1TheoryofGeneralization-RestrictionofBreakPoint机器学习领域机器是如何做到举一反三的本领的？dichotomies是二分类，即label只有（o，x）这种。例如positiverays，意思是一侧全是正，另一侧全是负，而出现ox这种情景时，则两个点的mh（2）=3，实现了小于2^2的目的。突破口是两个点，则k=2.例如2Dperception，在四

Jason__Liang·2018-05-24 21:45

机器学习基石（林轩田）第五章笔记与感悟总结

5.1TrainingversusTesting-RecapandPreview训练和测试过程到底有什么不一样？机器学习是否可行，老师说的是：1）资料从一个distribution中学习，如抽球问题2）我们有有限的hypothesis的那么无限大的hypothesis的，那怎么办？如果我们选择了一个g使Ein接近0，那么Eout接近0。E是错误率，而且要Ein接近Eout。在训练集与测试集间找平衡

Jason__Liang·2018-05-24 19:55

算法工程师学习流程

1）学习资料：以林轩田的《机器学习基石》、《机器学习技巧》为主，以周志华的《机器学习》、李航的《统计学习方法》为辅。

zhaocen_1230·2018-05-21 15:45

林轩田《机器学习基石》资源汇总（视频+学习笔记+书）

来源|AI有道（公众号ID：redstonewill）▌课程介绍台湾大学林轩田老师的《机器学习基石》课程由浅入深、内容全面，基本涵盖了机器学习领域的很多方面。其作为机器学习的入门和进阶资料非常适合。

csdn_csdn__AI·2018-05-10 16:29

机器学习推导合集01-霍夫丁不等式的推导 Hoeffding Inequality

1.0引言笔者第一次接触霍夫丁不等式（HoeffdingInequality）是在林轩田先生的机器学习基石课程（还是在b站上看的hh）上。

liubai01·2018-04-17 00:32

《机器学习基石》9-Linear Regression

这一节主要介绍线性回归算法。LinearRegressionProblem对于输出空间Y=RY=R的一类问题，一个比较简单的想法就是：将LinearClassification的决策函数中的sign函数去掉，使用各种特征的加权结果来表示yyy≈∑i=0dwixi=wTxy≈∑i=0dwixi=wTx这就是线性回归算法，它的假设空间为h(x)=wTxh(x)=wTx线性回归的目标是寻找一条直线（R2

Eathen_Zheng·2018-04-03 20:51

《机器学习基石》8-Noise and Error

这一节主要讨论在有噪声的情况下，VC维理论是否仍适用。NoiseandProbabilisticTarget回顾之前提到的机器学习的流程图，学习的目的，就是找到一个函数gg，使得它与目标函数ff差不多。然而在现实生活中，往往伴随着噪声：这些噪声的类别是多种多样的noiseinyy：如标签标错了noiseinxx：如原本的数据就存在噪声没有噪音时，xx服从同一个概率分布PP，y=f(x)y=f(x)

Eathen_Zheng·2018-04-03 20:24

《机器学习基石》2-Learning to Answer Yes/No

这节课主要介绍感知器算法（PerceptronLearningAlgorithm）。PerceptronHypothesisSet对于一个线性可分的二分类问题，我们可以采用感知器（Perceptron）这种假设集。采用这种假设集进行分类的思想是这样的：我们假设样本的类别是由样本每一个特征xixi共同决定，其中不同的特征的重要程度不一样。于是我们通过对所有的特征进行加权∑di=1wixi∑i=1dw

Eathen_Zheng·2018-03-24 17:27

《机器学习基石》1-The Learning Problem

IntrodctionWhatisMachineLearning机器学习：计算机通过数据和计算获得一定技巧的过程。技巧：指的是在某些事情上表现更加出色，比如预测、识别等等。WhyusingMachineLearning一些数据或者信息，人来无法获取，可能是一些人无法识别的事物，或是数据信息量特别大；人的处理满足不了需求，比如：定义很多很多的规则满足物体识别或者其他需求；在短时间内通过大量信息做出判

Eathen_Zheng·2018-03-24 17:31

《机器学习基石》笔记系列

前言“机器学习基石”是Coursera上一门关于机器学习的课程，由国立台湾大学的老师林轩田讲授。该课程一共有16节课，主要介绍了机器学习领域的基础理论知识。

Eathen_Zheng·2018-03-24 16:42

台大-林轩田老师-机器学习基石学习笔记14

上一讲讲的是过拟合的原因，并且也介绍了一点，解决过拟合的方法。此讲重点介绍其中的一种最为常用的方法，正规化（Regularized）。我们上一节讲说了一个过拟合的例子：stepback不仅用于篮球中我们也知道了，如果我们使用一个高阶多项式（图中红色曲线所示），例如10阶，对目标函数（蓝色曲线）进行拟合。拟合曲线波动很大，虽然EinEin很小，但是EoutEout很大，也就造成了过拟合现象。我们的正

davendw·2018-03-02 17:05

机器学习中的噪音（机器学习基石）

noise的产生在机器学习中我们在独立随机抽样的时候会出现一些搞错的信息，这些错误的数据我们称之为杂讯（或者噪音noise），一般可以归结为一下两种（以二分为例）：输出错误：1.同样的一笔数据会出现两种不同的评判2.在同样的评判下会有不同的后续处理。输入错误：1.在收集数据的时由于数据源的随机性会出现错误（比如说，客户在填信息的时候出现的误填）noise的情况下VC维度的可用性在有noise的情况

Regularization·2018-02-01 23:20

林轩田机器学习基石笔记13：Hazard of Overfitting

0.前言之前的课程中讲到，在使用非线性分类器时，我们使用越高阶的特征转换，模型会更复杂，同时得到更高的VC维度。这节课中将会介绍这一行为导致机器学习中一个重要的问题：过拟合。1.WhatisOverfitting什么是过拟合，看一张图就明白了：可以看到，目标函数是蓝色的线，一共有5个样本可供学习，我们使用一个复杂的分类器将5个样本学的很好，但是得到的结果和蓝色的差很多。这种情况就叫做过拟合。过拟合

Augus_Xu·2018-02-01 22:47

台大-林轩田老师-机器学习基石学习笔记13

上节讲的是非线性分类模型，通过线性与非线性空间之间的变换，将非线性模型映转换为线性模型，再进行分类，分析了非线性变换可能会使计算复杂度增加。强调了纬度和负责度之间的关系。这节中，这种模型复杂度增加带来机器学习中一个很常见的问题——过拟合。什么是过拟合？机器学习的终极目标就是为了预测，当然预测前我们要对数据进行训练。用原生数据来直接训练的话，有一个问题就是我们设计的分类器在训练集上会得到很好的表现，

davendw·2018-01-29 01:45

台大-林轩田老师-机器学习基石学习笔记12

从缺陷开始我们先来看下这两个图如果我们的假设空间定在二维空间，那么当数据不是线性可分的时候，将会发生比较尴尬的事情——无从下手。左边的数据我们称为线性可分，右边的是线性不可分。之前的十一讲，所有林老师涉及的机器学习模型都为线性模型，即假设空间是线性的。线性模型中使用的界限函数为线性分数。线性模型的优点为在理论上可以使用VC维保证。但是，当数据集为线性不可分的时候，如右图，则会很难找到一条直线将两种

davendw·2018-01-28 02:19

机器学习笔记（2-2）--林轩田机器学习基石课程

PerceptronLearningAlgorithm在上一节中，给出了hepothesis之后，我们就要考虑如何找到g。从此出发，在这一小节，林老师带我们见识了第一个机器学习演算法，‘PerceptronLearningAlgorithm’即PLA，翻译过来就是感知学习算法，林老师也叫这个机器学习算法为“知错能改”算法。我们来看一下这个算法的主要原理：上一节中提到了，其实向量x与权重向量w内积就

数学系的计算机学生·2018-01-22 14:00

机器学习技法（一）

《机器学习技法》是国立台湾大学林轩田讲授的一门课程，课程的上集是《机器学习基石》。相关资源可以在youtube找到，也可在评论区索要云盘链接。

宣的写字台·2017-12-15 10:35

机器学习基石Part1

1.data->ML->skillskill:improvesomeperformancemeasuremachinelearning:improvesomeperformancemeasurewithexperiencecomputedfromdatadecidewhethertouseML:(1)existssome"underlyingpattern"tobelearned(2)noprog

Emily_3b7b·2017-12-11 01:40

深度学习资料整合

深度学习课程吴恩达深度学习课程网易云课堂台大李宏毅中文机器学习课程(2017)课程主页bilibili台大林轩田老师《机器学习基石》和《机器学习技法》bilibili基石bilibili技法深度学习书籍深度学习伊恩

sixfold_yuan·2017-12-08 03:35

机器学习基石(一)

《机器学习基石》是国立台湾大学林轩田讲授的一门课程，课程的续集是《机器学习技法》。《机器学习基石》是网上热荐的一门机器学习课程，相关资源可以在youtube找到，也可在评论区索要云盘链接。

宣的写字台·2017-12-04 22:34

《机器学习基石》——学习笔记

转载自：https://www.douban.com/doulist/3440234/学习Coursera上台湾国立大学的《机器学习基石》https://class.coursera.org/ntumlone

Haraway·2017-11-21 11:21

机器学习基石-06-3-Bounding Function- Inductive

如果想求B(4，3)，可以尝试找到B(4，3)和B(3,?)之间的关联。假设现在通过计算机得到了B(4，3)=11，howtoreduceB(4,3)toB(3,?)cases?将上面的11种dichotomy分成orange和purple两类，其中orange代表的是x1,x2,x3都完全相同只有x4不相同的dichotomy，purple代表的是x1,x2,x3不完全相同的情况。B(4，3)=

manaml·2017-11-04 20:25

机器学习基石-06-1-Restriction of Break Point

restrictofbreakpoint四个成长函数的breakpoint那么breakpoint到底有没有为我们未来到底能够产生几种dichotomy加上更强的限制呢？首先理解一下breakpointk=2的意义：任意两个point不能shatter，不能shatter就是说不能出现完整的四种“OX”,"OO","XX","XO",如果在两个point上同时完成这四个，那就不满足breakpoi

manaml·2017-11-04 15:15

机器学习基石-05-4-Break Point

接着上一节课的2维感知机到底是指数还是多项式的问题，应该怎么做呢？4个inputs不能做出8种，k=4就是一个breakpoint。只要k是breakpoint，那么k+1,k+2……也都一定是breakpoint；2维感知机的breakpoint=4。4种成长函数的breakpoint：当不存在breakpoint时（比如convexsets），也就是在出现最小breakpoint之前的所有N都

manaml·2017-11-04 10:10

机器学习基石-05-3-Effective Number of Hypotheses

Dichotomies:Mini-hypotheses，dichotomy意思是一分为二，就是将普通的都转换成二分的。用来代替M的部分就是可行的假设h的个数，包含所有可能存在的情况，比如inputs为2时，可能是6也可能是8。但是这个想要代替M的部分会受到inputs（x1,x2,x3……）的影响，那么如何去除这种影响呢？取所有inputs中的最大值来代替对应的，就不用再去考虑每一种情况只需要分析

manaml·2017-11-04 09:11

周志华机器学习西瓜书（PDF）斯坦福大学机器学习视频机器学习基石+技法邹博机器学习七月在线机器学习资源下载

机器学习周志华：链接:http://pan.baidu.com/s/1i5pz5TN密码:9ayx2014斯坦福大学机器学习AndrewNg视频：链接:https://pan.baidu.com/s/1hsKh4Xm密码:ude32014斯坦福大学机器学习AndrewNg中文字幕视频：http://open.163.com/special/opencourse/machinelearning.ht

无敌三角猫·2017-10-30 20:50

机器学习基石-03-3-learning with different Protocol

1.batchlearningbatchof（email，spam）------>spamfilterbatchof(patient,cancer)-------->cancerfilterbatchofpatientdata-------->groupofpatientsbatchlearning：averycommonprotocol.batchspamfilter：predictwithfi

manaml·2017-10-22 16:18

机器学习基石-03-1-learning with different Output Space

1.二分类：yes/no；sick/notsick2.multiclass多分类：癌症的各种类型3.regression回归：根据病人的特征预测还需要几天才可以出院eg：companydata----->stockpriceclimatedata------>temperature4.structuredlearning：应用于自然语言处理eg：multiclass：word------>word

manaml·2017-10-22 10:58

统计学习方法-第二章-感知机

在看了机器学习基石的感知机算法视频之后，把李航的统计学习方法的这部分内容也看了。

manaml·2017-10-20 10:14

机器学习基石-02-2-PLA何时停下来？

PLA停止的条件：找到一条“best”的直线可以把圆圈和叉叉完美的分开。这就要求资料data是线性可分的（linearseparability），否则PLA永远也不会停下来。接下来假设D线性可分，那么PLA什么情况会停下来（halt）呢？假设wf是“perfect”的：上面的公式含义：两个向量的内积几何意义是，一个向量在另一个向量上投影的长度。所以就是平面上的某一个点x到“红蓝分界线”的距离（是分

manaml·2017-10-18 15:57

机器学习路径规划

从知乎上听说了林轩田老师机器学习的课程，又偶然从百度云上获得了他讲课的视频，看了一节课程介绍后，大体规划了下machinelearning的学习路径视频台大林轩田《机器学习基石》台大林轩田《机器学习技法

panda桑·2017-09-25 13:56

机器学习入门笔记简介

台湾大学林轩田老师的机器学习基石和机器学习技法，也

Miss_喵·2017-09-05 22:42

roadmap&资源-林轩田机器学习基石

6、7月份，我在couresa上学习了台大林轩田老师的《机器学习基石》课程和吴恩达老师的《机器学习》课程。两门课都不错，林更注重基础，吴更注重实践，也更简单一些。

Sun_f·2017-08-25 21:04

台湾大学林轩田机器学习基石课程学习笔记7 -- The VC Dimension

前几节课着重介绍了机器能够学习的条件并做了详细的推导和解释。机器能够学习必须满足两个条件：1、假设空间H的SizeM是有限的，即当N足够大的时候，那么对于假设空间中任意一个假设g，Eout≈Ein。2、利用算法A从假设空间H中，挑选一个g，使Ein(g)≈0，则Eout≈0。这两个条件，正好对应着test和trian两个过程。train的目的是使损失期望Ein(g)≈0；test的目的是使将算法用

红色石头Will·2017-08-02 10:03

台湾大学林轩田机器学习基石课程学习笔记5 -- Training versus Testing

上节课，我们主要介绍了机器学习的可行性。首先，由NFL定理可知，机器学习貌似是不可行的。但是，随后引入了统计学知识，如果样本数据足够大，且hypothesis个数有限，那么机器学习一般就是可行的。本节课将讨论机器学习的核心问题，严格证明为什么机器可以学习。从上节课最后的问题出发，即当hypothesis的个数是无限多的时候，机器学习的可行性是否仍然成立？一、RecapandPreview我们先来看

红色石头Will·2017-07-11 09:34

机器学习基石课程第三讲

第三讲：TypesofLearning1、机器学习分类1二元分类问题二元分类问题多分类问题多分类问题回归回归问题结构化问题如自然语言处理中，词性判别结构化问题2、机器学习分类2监督式学习监督式学习无监督学习例如聚类问题：无监督学习半监督学习半监督学习强化学习（reinforcementlearning）比如你训练一只狗，你让它坐下，它如果尿尿，你会给它一定的惩罚，它就会知道，当你说坐下的时候，它尿

文哥的学习日记·2017-07-10 12:50

NTU林轩田机器学习基石课程学习笔记4 -- Feasibility of Learning

上节课，我们主要介绍了根据不同的设定，机器学习可以分为不同的类型。其中，监督式学习中的二元分类和回归分析是最常见的也是最重要的机器学习问题。本节课，我们将介绍机器学习的可行性，讨论问题是否可以使用机器学习来解决。一、LearningisImpossible首先，考虑这样一个例子，如下图所示，有3个label为-1的九宫格和3个label为+1的九宫格。根据这6个样本，提取相应label下的特征，预

红色石头Will·2017-06-12 15:47

《机器学习基石》课堂原文Lecture4-1

大家好，大家好，欢迎回到今天的机器学习课程今天的课程我们要跟大家探讨的题目是FeasibilityofLearning，Learning到底是不是可行的呢？在开始这个题目之前，我们先看看我们上一次到底上了些什麽东西？我们上一次探索了各式各样不一样的机器学习的设定，然后我们跟大家说到说我们的焦点会著重在说二元的分类还有迴归分析上，最核心的问题那我们会在批次的资料，还有supervised，也就是有提

牧码人小鹏·2017-06-09 13:39

NTU林轩田机器学习基石课程学习笔记2 -- Learning to Answer Yes/No

上节课，我们主要简述了机器学习的定义及其重要性，并用流程图的形式介绍了机器学习的整个过程：根据模型H，使用演算法A，在训练样本D上进行训练，得到最好的h，其对应的g就是我们最后需要的机器学习的模型函数，一般g接近于目标函数f。本节课将继续深入探讨机器学习问题，介绍感知机Perceptron模型，并推导课程的第一个机器学习算法：PerceptronLearningAlgorithm（PLA）。一、P

红色石头Will·2017-06-08 16:34

NTU林轩田机器学习基石课程学习笔记1 -- The Learning Problem

最近在看NTU林轩田的《机器学习基石》课程，个人感觉讲的非常好。整个基石课程分成四个部分：WhenCanMachineLearn?WhyCanMachineLearn?

红色石头Will·2017-06-07 16:41

感知机算法原理（PLA原理）及 Python 实现

参考书籍：李航老师的《统计学习方法》、林轩田老师的《机器学习基石》如无特殊说明，图片均来自网络(google图片、百度图片)，如有侵权请联系我，我会立即删除或更改PLA是PerceptronLearningAlgorithm

Artprog·2017-03-12 19:49

林轩田机器学习基石观后笔记——感知器学习（PLA）

最近想对机器学习有一个系统的学习，所以观看了台湾大学林轩田教授的机器学习基石课程，该课程讲解的比较容易理解，对于不想学习大量的数学公式的初学者比较合适。

henghane·2017-02-10 15:23

林轩田机器学习基石——多类别分类问题（multi-class classification）

对于一个k类别分类问题，我们要做的是判断一个样本是k类别中的哪一类，实际上是二分类问题的拓展，解决方法也是二分类分类方法的延伸。问题描述为：现有N个训练样本,每个样本的输出是k类类标的一种，我们需要训练出一个能够判别出样本类标的训练器。简单,常用的多分类方法可分为两种：一对多方法（One-Versus-All）和一对一方法（One-Versus-One）One-Versus-All：(K分类)①用

henghane·2017-02-10 14:05

【资源分享】《机器学习&深度学习&自然语言处理》视频课程资源百度云下载

林轩田：机器学习基石链接：http://pan.baidu.com/s/1qXSKZP6密码：dwie林轩田：機器學習技法(MachineLearningTechniques)链接：http://pan.baidu.com

数据娃掘·2017-01-09 12:03

连载 | 机器学习基石 Lec 7：VC Dimension 及其“哲学”含义

Lec7：TheVCDimensiontips：符号含义主要参照lec1，部分需要参照其他lec上一节介绍了机器学习可行性的重要理论保障VCBound，基于此，这节将介绍VCDimension.1、DefinitionofVCDimension上一节讲到上限函数B（N，k）的最高次项是k的N-1次方。这里将B（N，k）与k的N-1次方做部分比较：可以看出N的k-1次方已经比B（N，k）大了，实际上

青禾ws·2016-10-30 22:13

推荐频道

机器学习基石