逻辑回归学习笔记

本讲大纲:

这里写图片描述

1.局部加权线性回归(locally weighted linear regression)

给定一个数据集,根据x预测y. 
这里写图片描述
最左边的函数为这里写图片描述,并不能很好的拟合数据; 
中间的加了一个额外的特性这里写图片描述,函数为这里写图片描述,稍微更好地拟合了数据; 
似乎我们增加越多的特性,拟合程度越好;但是增加太多的特性是很危险的,最右边的图是一个五阶的多项式这里写图片描述,虽然很好的拟合了给定的数据集,但是这个并不是一个很好的预测函数。

欠拟合(underfitting):很明显有一些没有被模型捕获的结构,比如说最左边的图. 
过拟合(overfitting):最右边的就是一个过拟合的例子.

因此说,特性的选择对于学习算法的性能来说是很重要的!!!

在原先的线性回归算法中,对查询点x做预测,我们: 
这里写图片描述

而局部加权线性回归算法是: 
这里写图片描述 
其中,这里写图片描述是非负值的权重。 
对权重的一个标准选择是: 
这里写图片描述 
这里写图片描述很小时,权重接近于1;当这里写图片描述很大时,权重很小,接近于0. 因此,这里写图片描述的选择是训练集中越接近查询点的样本权重越大. 参数这里写图片描述控制着样本集离查询点距离权重下降的快慢,称为波长参数.

非参数化学习算法(non-parametric learning algorithm): 
为了更好的展现假设,我们需要考虑的东西的数量随着训练集而线性增长(局部权重加权回归算法是我们学习的非参数学习算法的第一个例子). 
参数化学习算法(parametric learning algorithm): 
拟合数据只需要固定的、有限的参数(线性回归算法).

2.概率解释(probabilistic interpretation)

在回归问题中,为什么选择最小二乘法,是否合理?

假设目标变量和输入的关系如下: 
这里写图片描述

这里写图片描述表示误差项,不管是建模过程中没有考虑进来的因素,还是一些随机的因素; 
根据高斯分布(Gaussian distribution)或者叫做正态分布(Normal distribution),再假设这里写图片描述是IID(independently and identically distributed), 也就是说,这里写图片描述这里写图片描述, 
这里写图片描述 
等价于: 
这里写图片描述 
注意,这里写图片描述的意思是在参数这里写图片描述的情况下,给定x,y的分布,这里写图片描述并不是随机变量.

似然函数(likelihood function): 
这里写图片描述

注意到误差项的独立假设,对所有给定的X,有: 
这里写图片描述

根据最大似然估计原则,我们应该最大化这里写图片描述.

为了计算方便,对极大似然函数取对数, 
这里写图片描述

问题转化为最小化这里写图片描述这也就是我们最初的最小二乘法的代价函数.

注意到我们的最终结果与这里写图片描述无关.

3.逻辑回归(logistic regression)

分类(classification):也类似于回归(regression)问题,只是y的取值是一小部分的离散值.这边我们暂时先考虑二元的分类问题(binary classification,也就是说y只有两个取值,0和1.

为了了解分类问题,先忽略y是一个离散值,使用线性回归算法来预测y. 但是很容易发现的问题是y有可能出现大于1或者小于0的值,因此我们改变假设函数为: 
这里写图片描述 
称为逻辑函数(logistic function)或者s型函数(sigmoid function).

下面是g(z)的图像: 
这里写图片描述

logistic 函数一个有用的求导特性: 
这里写图片描述

假设: 
这里写图片描述 
等价于:这里写图片描述 
假设m个训练样本是单独产生的,于是 
这里写图片描述

取对数得: 
这里写图片描述

类似于在线性回归中的求导,可以使用梯度上升(gradient ascent)(因为是正号,因此是最大化不是最小化).

这里写图片描述

考虑一个样本,根据梯度上升原则求偏导: 
这里写图片描述

因此这里写图片描述

4.感知器算法(the perceptron learning algorithm)

如果需要改变logistic回归方法使得输出是0或1,定义临界函数(threshold function): 
这里写图片描述 
这里写图片描述,但是用这个函数定义g,因此: 
这里写图片描述 
这就是感知器学习算法.

你可能感兴趣的:(机器学习,机器学习)