2.1 Leaming to Answer Yes No- Perceptron Hypothesis Set|机器学习基石（林轩田）-学习笔记

文章原创,最近更新：2018-06-27

学习链接:
2.1 Leaming to Answer Yes No- Perceptron Hypothesis Set

学习参考链接:台湾大学林轩田机器学习基石课程学习笔记2 -- Learning to Answer Yes/No

1.Roadmap

之前介绍了一个机器学习具体的问题以及内容的设定,用机器学习的演算法去判断是否给银行的顾客发信用卡.

上节课，我们主要简述了机器学习的定义及其重要性，并用流程图的形式介绍了机器学习的整个过程：根据模型H，使用演算法A，在训练样本D上进行训练，得到最好的h，其对应的g就是我们最后需要的机器学习的模型函数，一般g接近于目标函数f。

2.Credit Approval Problem Revisited再次讨论信用卡审批问题

如果有个信用卡的申请人过来申请信用卡,希望申请的用x来表示,这个g看了x表示来给信用卡还是不给信用卡.我们用y来表示给还是不给.

那么H到底长什么样子?

下面来讲解H最终长什么样子?

3.A Simple Hypothesis set: the "Perceptron"一个简单的假设集：“感知器”

引入这样一个例子：某银行要根据用户的年龄、性别、年收入等情况来判断是否给该用户发信用卡。现在有训练样本D，即之前用户的信息和是否发了信用卡。这是一个典型的机器学习问题，我们要根据D，通过A，在H中选择最好的h，得到g，接近目标函数f，也就是根据先验知识建立是否给用户发信用卡的模型。银行用这个模型对以后用户进行判断：发信用卡（+1），不发信用卡（-1）。

拿到使用者的资料,怎么评定要不要发信用卡?开发使用者用一个向量来表示.X=(x1,X2,……,Xd)第一个维度x1可能是年纪,第二个维度可能是年薪,第三个维度是工作几年了,每个维度都有可能正面或者负面的影响,到底发不发信用卡.把维度综合起来,算出来一个分数:

• 这个分数超过了某个标准的话,那就给信用卡没有问题,
• 如果分数没有超过某个标准的话,那就给信用卡有问题.

wi代表的是权重,表示维度的重要性,即所占的比重.

在这个机器学习的整个流程中，有一个部分非常重要：就是模型选择，即Hypothesis Set。选择什么样的模型，很大程度上会影响机器学习的效果和表现。下面介绍一个简单常用的Hypothesis Set：感知机（Perceptron）。

还是刚才银行是否给用户发信用卡的例子，我们把用户的个人信息作为特征向量x，令总共有d个特征，每个特征赋予不同的权重w，表示该特征对输出（是否发信用卡）的影响有多大。那所有特征的加权和的值与一个设定的阈值threshold进行比较：

• 大于这个阈值，输出为+1，即发信用卡；
• 小于这个阈值，输出为-1，即不发信用卡。

感知机模型，就是当特征加权和与阈值的差大于或等于0，则输出h(x)=1；当特征加权和与阈值的差小于0，则输出h(x)=-1，而我们的目的就是计算出所有权值w和阈值threshold。

4.Vector Form of Perceptron Hypothesis

为了计算方便，通常我们将阈值threshold当做w0w0，引入一个x0=1x0=1的量与w0w0相乘，这样就把threshold也转变成了权值w0w0，简化了计算。h(x)的表达式做如下变换：

我们想知道h(x)二维的图长长什么样子?

5.Perceptrons in R2

为了更清晰地说明感知机模型，我们假设Perceptrons在二维平面上，即h(x)=sign(w0+w1x1+w2x2)h(x)=sign(w0+w1x1+w2x2)。其中，w0+w1x1+w2x2=0w0+w1x1+w2x2=0是平面上一条分类直线，直线一侧是正类（+1），直线另一侧是负类（-1）。权重w不同，对应于平面上不同的直线。

这里的●代表+1,x代表-1,h(x)画出来是一条直线.感知器是线性的分类器.

6.Fun Time

下面我们用感知器来预测垃圾邮件的预测,把邮件出现的文字用长长的向量来表示.邮件上出现哪个文字,会占比较大的权重合理的.

答案是2

垃圾邮件就是经常出现的文字,所占的权重就比较大.