回归算法之岭回归

1. 岭回归

• 首先，说一下岭回归名字的由来， w^=(XTX+λI)−1⋅XTy ，其中，I 是单位矩阵(对角线全是1，像”山岭“)， λ 是岭系数(顾名思义…改变其数值可以改变单位矩阵对角线的值)
• 其次，岭回归是基于最小二乘法 w^=(XTX)−1⋅XTy ， 最小二乘法中有时候 XTX 可能不是满秩矩阵，也就是此时行列式为零，无法求逆 ( A−1=1|A|⋅A∗ 其中 A∗ 是伴随矩阵)

2. 公式

最小二乘法 w^=(XTX)−1⋅XTy
岭回归公式 w^=(XTX+λI)−1⋅XTy

3. 伪代码

输入XY 以及lambda系数
计算demo = XTX+lambda*I
    判断是否为零
计算 ws = demo.I * xTy  

4.代码

# coding:utf-8

import pylab as pl
from numpy import *
from datetime import datetime

def loadData(fileName):
    labelMat = []
    dataMat = []
    with open(fileName) as txtFile:
        for line in txtFile.readlines():
            labelMat.append(map(float, line.split())[-1])
            dataMat.append(map(float, line.split())[0:-1])
    return dataMat, labelMat  # 4177*8

# 计算ws #(xTx+IMat).I * xTy
def ridge(xArr, yArr, lam=0.2):
    n = shape(xArr)[-1]
    IMat = eye(n)
    xTx = xArr.T * xArr
    demo = xTx + IMat * lam
    if linalg.det(demo) is 0:
        print "Warning !!!"
        return
    ws = demo.I * (xArr.T * yArr)
    # print ws
    return ws

# 进行30次循环 每次的系数指数级改变
# 数据进行标准化 y-ymean,x=(x-xmean)/xvar
def rightTest(xArr, yArr, loopNum=30):
    xMat = mat(xArr)
    yMat = mat(yArr).T
    yMat -= mean(yMat, 0)
    xMat = (xMat - mean(xMat, 0)) / var(xMat, 0)
    weight = zeros((loopNum, shape(xMat)[1]))
    for i in range(loopNum):
        weight[i, :] = ridge(xMat, yMat, exp(i - 10)).T
    return weight

# 打印图像
def outPic(point):
    fig = pl.figure()
    ax = fig.add_subplot(1, 1, 1)
    ax.plot(point)
    pl.show()

if __name__ == '__main__':
    start = datetime.now()
    data, label = loadData("abalone.txt")
    loopNum = 30
    w = rightTest(data, label, loopNum)
    # print w
    outPic(w)
    print "耗时为:", datetime.now() - start

5. 打印图像 以及 分析

(横轴是循环次数就是相关岭系数 纵轴是回归系数) 从图像中可以看出，在这八个系数中有两个距离0比较远，所以数据的主要预测就可以依靠这两个系数

附 数据集

'''
1   0.455   0.365   0.095   0.514   0.2245  0.101   0.15    15
1   0.35    0.265   0.09    0.2255  0.0995  0.0485  0.07    7
-1  0.53    0.42    0.135   0.677   0.2565  0.1415  0.21    9
1   0.44    0.365   0.125   0.516   0.2155  0.114   0.155   10
0   0.33    0.255   0.08    0.205   0.0895  0.0395  0.055   7
0   0.425   0.3 0.095   0.3515  0.141   0.0775  0.12    8
-1  0.53    0.415   0.15    0.7775  0.237   0.1415  0.33    20
-1  0.545   0.425   0.125   0.768   0.294   0.1495  0.26    16
1   0.475   0.37    0.125   0.5095  0.2165  0.1125  0.165   9
-1  0.55    0.44    0.15    0.8945  0.3145  0.151   0.32    19
-1  0.525   0.38    0.14    0.6065  0.194   0.1475  0.21    14
1   0.43    0.35    0.11    0.406   0.1675  0.081   0.135   10
1   0.49    0.38    0.135   0.5415  0.2175  0.095   0.19    11
-1  0.535   0.405   0.145   0.6845  0.2725  0.171   0.205   10
-1  0.47    0.355   0.1 0.4755  0.1675  0.0805  0.185   10
1   0.5 0.4 0.13    0.6645  0.258   0.133   0.24    12
0   0.355   0.28    0.085   0.2905  0.095   0.0395  0.115   7
-1  0.44    0.34    0.1 0.451   0.188   0.087   0.13    10
1   0.365   0.295   0.08    0.2555  0.097   0.043   0.1 7
.....还有4000行
'''