机器学习--线性回归

本系列的理论知识以周志华的机器学习和各位大牛的博客为基础，代码部分以官网的例子为主依次介绍机器学习的各种算法

线性回归

1.理论基础

• 最基本的表现形式
  f(X)=w1*x1+w2*x2+w3*x3+......+wa*xa+b=wTx+b
  w, b 两个参数确定后，即可以确定模型

说明：

1. 一般情况下会给定一个样本集，D={（x1,y1),(x2,y2)......,(xm,ym)},其中x 一般表示的是由需要分类的样本的属性 转化的向量值,而y则为每一个样本的分属类别

2. 均方吴差：
   
   
   

   是估计y值与真实的y值的差值的平方的期望值

3. 总体方差：

其中μ为样本的均值，N为样本总量，上式子经过校验后，得到了样本方差，将分母N变为N-1，
4.如何确定w,b 呢，在线性回归中，均方误差是回归任务中最常用的性能度量，因此我们要尝试将均方误差最小化
（w,b)=arg min E(i=1,i=m) (f(xi)-yi)^2=arg min E(i=1,i=m) (yi-wxi-b)^2
想要求出上述式子最小时候w,b的值，就是一个求偏导的过程， 周志华书中p54

5. 基于均方误差最小化来进行模型求解的方法称之为最小二乘法，在线性回归中，最小二乘法就是找到一条直线，是所有样本到直线的欧式距离最小。
   6.除了上述的线性表现形式外，还会有对数，矩阵，指数的表达形式，周志华机器学习P56
   7.经过上述的简单分析后，如何用z=wTx+b对模型的预测值进行分类呢？最好的方法是将z的值转换为0/1进行达打标处理，最理想的数学式子就是阶跃函数---比如1/1+e^(-z),该函数也叫做Sigmoid 函数

2.多分类学习

常见的有OVO（one vs one) 和OVR（one vs rest) 两种，当样本集有N个的时候，前者需要训练N（N-1）/2个模型，而后者需要训练N个模型， 因此，OVO的存储开销和测试时间开销通常比OVR的更大，但每次训练OVR都会用到全部样本，因此OVO的训练时间开销通常比OVR更小，至于测试性能，多数情况下两者差不多

下面进入实践部分，代码来自scikit-learn 官方文档
基于上面最小二乘法的广义线性回归应用代码

import sklearn
from sklearn import linear_model,datasets
import numpy as np
import matplotlib.pyplot as plt
from sklearn.metrics import mean_squared_error, r2_score#前边一个为均方差，后面一个是用来衡量模型好坏的优化度量值
diabets=datasets.load_diabetes(return_X_y=False)#仅有的一个参数，如果该参数的True 打印后返回的是一个数组，反之返回的是data,target 两个列名的json 格式
#print (diabets)
diabets_x=diabets.data[:,np.newaxis,2]#其中的np.newaxis 可以理解为升级维度，原来的维度+1，2表示取第二列对应得属性
#print (diabets_x)
diabets_x_train=diabets_x[:-20]#表示从倒数第21个开始到该数组的第一个
#print (diabets_x_train)
diabets_x_test=diabets_x[-20:]#表示从倒数的第20个开始取到最后
diabets_y_train = diabets.target[:-20]
diabets_y_test = diabets.target[-20:]#一个x特征，一个y归属
#print(diabets.target)
regr=linear_model.LinearRegression()#调出广义线性回归的模型，其数学理论基础是最小二乘法
regr.fit(diabets_x_train,diabets_y_train)#fit的两个参数，一个是训练集合一个是测试集合
diabets_y_pred=regr.predict(diabets_x_test)#利用创造的模型得到测试的结果，即分属哪一类
#print (diabets_y_pred)得到了预测值
#print('Coefficients: \n', regr.coef_)#得到回归系数，即w的值，因为是二维的，因此w是一个数值
#print("Mean squared error: %.2f"% mean_squared_error(diabets_y_test, diabets_y_pred))#均方误差
#print('r2_score:%.2f'%r2_score(diabets_y_test, diabets_y_pred))#决定系数，得到的是一个小于1的值，用于评价模型，越接近于1说明模型越好，反之说明越差
plt.scatter(diabets_x_test,diabets_y_test,color='black')#将原来的测试集表示为散点图
plt.plot(diabets_x_test,diabets_y_pred,linewidth=3,color='blue')#预测的2维直线
#plt.xticks()
#plt.yticks()
plt.show()

官方文档中除了广义的线性回归之外，还有基于不同的数学理论的线性回归，本质上都是监督学习--线性回归，下面主要讲解不同线性回归的参数

• 广义线性回归（最小二乘法） LinearRegression
  copy_x 是否对x的值进行复制保存
  fit_intercept 是否显示截距即b的值
  n_jobs=1 运算时，电脑几核并行
  normalize 在进行最小二乘法运算的时候x是否需要先标准化，当_fit_intercep_t为False的时候，该参数默认取消
• 岭回归 ridge regression
  除了上述的参数之外，为增强鲁棒性加入了α参数 正则化系数介于0和1之间
  solver 进行计算的时候选择的解决器，auto 表示自动，svd 表示奇异值分解法，sag 表示随机平均梯度下降法，在大数据下表现良好
  tol 表示精度 想要了解该参数的底层由来，建议看《机器学习实战》
  random_state sag 的伪随机种子 默认为None
• 贝叶斯岭回归 Bayesian ridge regression
  除了岭回归的参数外， 还有以下参数
  alpha_1/alpha_2/lambda_1/lambda_2:Hyper-parameter default 1.e-6
  compute_score : boolean,If True, compute the objective function at each step of the model. Default is False
  verbose : boolean,Verbose mode when fitting the model.

其他的回归模型不常用，也超出能力范围，不再赘述，感兴趣可以看官方文档API：https://www.cnblogs.com/magle/p/5878967.html
持续更新-----机器学习 直至周志华书看完