线性回归+逻辑回归

机器学习 第一回:线性回归和对数几率回归

1.一元线性逻辑回归
任务：
1>求偏置b的推导公式
2>求偏置w的推导公式
3> w的向量化

1.1操作流程

1.2证明E(w,b)损失函数是凸函数+对b的偏置导数

1.3 求偏置w的推导公式

1.4 对w的向量化

2.多元线性逻辑回归
1>对损失函数改写
2>E(w,x)是凸函数的证明
3>求最优解w

2.1对损失函数改写

2.2 E(w,x)是凸函数的证明

2.3求w的最优解

3.对数几率回归(逻辑回归)
1>从伯努力方程到回归模型推导

2>极大似然估计

3>对数几率模型的极大似然估计

2种p(yIx;w,b)的损失函数推导

import matplotlib.pyplot as plt
import numpy as np
import pandas as pd

ex0 = pd.read_table('long.txt',header=None)

ex0#.head()

def get_Mat(dataSet):
    xMat = np.mat(dataSet.iloc[:,:-1].values)
    yMat = np.mat(dataSet.iloc[:,-1].values).T
    return xMat,yMat

xMat,yMat=get_Mat(ex0)

xMat[:10]#读取里面元素，变成矩阵

yMat[:10]

def plotShow(dataset):#给数据描点
    xMat,yMat=get_Mat(dataset)
    plt.scatter(xMat.A[:,1],yMat.A,c='r',s=2)#c颜色，s点的大小
    plt.show()
    #xMat.A[:,1]
    #把xMat从matrix变成array,取1号的元素

plotShow(ex0)

def standRegres(dataset):#用来计算最佳拟合曲线
    xMat,yMat=get_Mat(dataset)
    xTx = xMat.T * xMat
    # 求矩阵的行列式
    if np.linalg.det(xTx) == 0.0:#np.linalg.det()此函数用于计算行列式
        print("矩阵为奇异矩阵，不能求逆")
        return
    # .I求逆矩阵
    ws = (xTx.I) * (xMat.T) * yMat
    return ws


ws=standRegres(ex0)

#划线
def plotReg(dataSet):
    xMat,yMat=get_Mat(dataSet)
    plt.scatter(xMat.A[:,1],yMat.A,c='b',s=2)
    ws = standRegres(dataSet)
    yHat = xMat * ws
    plt.plot(xMat[:,1],yHat,c='r')
    plt.show()

plotReg(ex0)

#计算相关系数:0.98的相关性
xMat,yMat=get_Mat(ex0)
ws = standRegres(ex0)
yHat = xMat * ws
np.corrcoef(yHat.T,yMat.T)#保证是两个行向量