【Abee】吃掉西瓜——西瓜书学习笔记(二)

线性模型(linear model)

 

目录

【内容包含 第三章】

线性回归(linear regression)

多元线性回归(multivariate linear regression)

对数几率函数(logistic function)

线性判别分析(Linear Discriminant Analysis,LDA)

多分类学习

类别不平衡(clss-imbalance)


 

线性回归(linear regression)

向量形式

                    f(x)=w^{T}x+b   

实际上我们遇到的数据分类并不都是数值类型的,对有序离散数据可以转化为数值比如身高 高、中、矮(1.0),(0.5),(0),对于属性间无序的数据,可以转化为k维向量,如西瓜,黄瓜(1,0)(0,1)

均方差:常用性能度量

最小二乘法:使用均方差对线性模型进行求解

                    (w^{*},b^{*})=arg min\sum_{i=1}^{m}(f(x_{i})-y_{i})


多元线性回归(multivariate linear regression)

最小二乘法

                     \hat{w}^{*}=arg min(y-X\hat{w})^{T}(y-X\hat{w})

线性回归模型 (X^{T}X为满秩矩阵时)

                     f(\hat{x})=\hat{x}^{T}(X^{T}X)^{-1}X^{T}y

还有对数线性回归,广义线性模型等衍生

                     y=g^{-1}(w^{T}x+b)

其中g()为联系函数(link function),要求连续且充分光滑

 


对数几率函数(logistic function)

这个引入是考虑二分类模型预测值为0,1,然而阶跃函数并不连续,因此用对数几率函数替代它

                     y=\frac{1}{1+e^{-z}}

对数几率函数是一个Sigmoid函数,对应的线性回归模型为

                     ln\frac{y}{1-y}=w^{T}x+b

可以进一步通过极大似然法估计w和b

 


线性判别分析(Linear Discriminant Analysis,LDA)

也称为Fisher判别

主要思想:将样例投影到一条直线上,使类内投影尽可能接近,类间投影尽可能远离

即最大化目标J

                       J=\frac{w^{T}(\mu _{0}-\mu _{1})(\mu _{0}-\mu _{1})w}{w^{T}(\sum _{0}+\sum _{1})w}

类内散度矩阵

                      S_{w}=\sum {_{0}}^{}+\sum {_{1}}^{}

类间散度矩阵

                       S_{b}=(\mu _{0}-\mu _{1})(\mu _{0}-\mu _{1})^{T}

 


多分类学习

可以将多分类任务拆解成多个二分类任务,再进行集成

假设存在N个类别

        一对一(OvO):N(N-1)/2次两两配对,然后投票决定

        一对其余(OvR):N个分类器

        多对多(MvM): 举例,ECOC 纠错输出码

 


类别不平衡(clss-imbalance)

通过再缩放(rescaling)(要求训练集为样本总体的无偏采样)

                \frac{y'}{1-y'}=\frac{y}{1-y}\times \frac{m^{-}}{m^{+}}

也可以用\frac{cost^{-}}{cost^{+}}替换\frac{m^{-}}{m^{+}}来进行代价敏感学习(cost-sensitive learning)

 


 

 

 

你可能感兴趣的:(机器学习,python)