台湾国立大学机器学习基石.听课笔记（第十六讲二）：ThreeLearningPrinciple机器学习基石16讲的总结1，机器学习的相关领域2，机器学习的理论基础3，机器学习的线性模型4，机器学习的工具

台湾国立大学机器学习基石.听课笔记（第十六讲一）：ThreeLearningPrinciple一，Occam'sRazor相对简单的模型，也许对数据的训练和测试得出来的结果更好。

台湾国立大学机器学习基石.听课笔记（第十五讲）：validation1，模型选择的问题(Modelselectionproblem)我们在前面的10几讲中已经学到很多算法的模型，那我们在给出一个实际问题后

台湾国立大学机器学习基石.听课笔记（第十五讲）：validation1，模型选择的问题(Modelselectionproblem)我们在前面的10几讲中已经学到很多算法的模型，那我们在给出一个实际问题后

台湾国立大学机器学习基石.听课笔记（第十四讲）：Regularization1，RegularizationHypothesisset我们有上一讲的假设集合可知：我们发现发生overfitting的一个重要原因可能是假设过于复杂了

台湾国立大学机器学习基石.听课笔记（第十四讲）：Regularization1，RegularizationHypothesisset我们有上一讲的假设集合可知：我们发现发生overfitting的一个重要原因可能是假设过于复杂了

台湾国立大学机器学习基石.听课笔记（第十三讲）：harzardofoverfitting1，什么是过拟合(overfitting)简单的说就是这样一种学习现象：Ein很小，Eout却很大。

台湾国立大学机器学习基石.听课笔记（第十三讲）：harzard ofoverfitting1，什么是过拟合(overfitting)简单的说就是这样一种学习现象：Ein很小，Eout却很大。

台湾国立大学机器学习基石.听课笔记（第十二讲）：NonlinearTransformation前面的分析都是基于“线性假设“，它的优点是实际中简单有效，而且理论上有VC维的保证；然而，面对线性不可分的数据时

台湾国立大学机器学习基石.听课笔记（第十一讲）：LinearModels ofClassification 在上一讲中，我们了解到线性回归和逻辑斯蒂回归一定程度上都可以用于线性二值分类，因为它们对应的错误衡量

台湾国立大学机器学习基石.听课笔记（第十讲）：LogisticRegression上一讲是关于线性回归，重点是求解w的解析方案(通过pseudo-inverse求解w)。

台湾国立大学机器学习基石.听课笔记（第九讲）：LinearRegression（线性回归）1、线性回归问题例如，信用卡额度预测问题：特征是用户的信息（年龄，性别，年薪，当前债务，...）

台湾国立大学机器学习基石.听课笔记（第八讲）：NoiseandError一、噪音与概率目标函数（NoiseandProbalisticTarget）1、几种错误：(1)noiseiny:mislabeleddata

台湾国立大学机器学习基石.听课笔记（第八讲）：NoiseandError一、噪音与概率目标函数（NoiseandProbalisticTarget）1、几种错误：(1)noiseiny:mislabeleddata

听课笔记（第七讲）：VC维理论(台大机器学习）上一讲的最后得到了VCbound，这一讲对VC维理论进行理解，这是机器学习（最）重要的理论基础。一、VCDimension的定义我们先对前面得到的生长函数和VCbound做一点小的修改。1，VC维的定义VCDemension:对于假设空间H，满足生长函数m(N)=2^N的最大的N，记为dvc(H).可知，dvc(H)比H的最小突破点k小1，即dvc(H

Lecture6:TheoryofGeneralization（一般化（举一反三）的理论）一、RestrictionofBreakPoint（切断点的限制）当breakpointk=2,N=3时，m_H(N)出现的情况。x_1、x_2和x_3两两之间都得满足k=2的条件，sowehaveaidea:二、BoundingFunction:BasicCases（边界函数的基本情况）首先，我们根据已知情

Lecture5:TrainingversusTesting一、RecapandPreview（复习和预览）基于统计的学习流程：---》如果备选函数集的大小|H|=M，M有限，训练数据量N足够大，则对于学习算法A选择的任意备选函数h，都有 E-out(h)≈E-in(h)---》如果A找到了一个备选函数，使得E-in(h)≈0，则有很大概率E-out(h)≈0---》学习是可能的可以讲，机器学习有

提纲机器学习的可行性&訓練與測試内容如:1.引入计算橙球概率问题2.通过用Hoeffding'sinequality解决上面的问题，并得出PAC的概念，证明采样数据学习到的h的错误率可以和全局一致是PAC的3.将得到的理论应用到机器学习，证明实际机器是可以学习4.二元分类的EffectiveNumber5.一般备选函数的 EffectiveNumber6.breakpoint===========

机器学习方法的分类学，通过不同的分类标准来讨论。一，根据输出空间来分类。1，分类(classification)1.1二值分类(binaryclassification)：输出为{+1，-1}。1.2多值分类(multiclassclassification)：输出为有限个类别，{1,2,3,...,K}2，回归(regression)输出空间：实数集R，或区间[lower,upper]3，结构学

2013-12-2715:28:56TrainingversusTesting1，回顾：学习的可行性？最重要的是公式： （1）假设空间H有限（M），且训练数据足够大，则可以保证测试错误率Eout约等于训练错误率Ein；（2）如果能得到Ein接近于零，根据（1），Eout趋向于零。以上两条保证的学习的可能性。可知，假设空间H的大小M至关重要，我们接下来会力求找一个H大小的上界。M存在重要的trade

机器学习方法的分类学，通过不同的分类标准来讨论。一，根据输出空间来分类。1，分类(classification)1.1二值分类(binaryclassification)：输出为{+1，-1}。1.2多值分类(multiclassclassification)：输出为有限个类别，{1,2,3,...,K}2，回归(regression)输出空间：实数集R，或区间[lower,upper]3，结构学

机器学习的可行性分析。一，第一条准则：没有免费的午餐！(nofreelunch!)给一堆数据D，如果任何未知的f（即建立在数据D上的规则）都是有可能的，那么从这里做出有意义的推理是不可能的！！doomed!!如下面这个问题无解（或者勉强说没有唯一解）： 下面这题也是如此： 再来看个”大神“的例子：已知(5,3,2)=>151022,求(7,2,5)=>？鬼才知道！！即使给你更多已知数据也白搭！因为

LearningtoAnswerYes/No（二值分类）一,Perceptronx=(x1,x2,...,xd)----featuresw=(w1,w2,...,wd)----未知（待求解）的权重对于银行是否发送信用卡问题： perceptron假设： sign是取符号函数，sign(x)=1ifx>0,-1otherwise向量表示： 感知机（perceptron）是一个线性分类器(linear