【学习笔记】机器学习西瓜书-第三章：线性模型

3.1 基本形式

线性模型试图学得一个通过属性的线性组合来进行预测的函数，即

f(x) = w₁x₁ + w₂x₂ + … + w_dx_d + b，

一般用向量形式写成 f(x) = w^Tx + b。
其中，x=(x₁;x₂;…;x_d)，表示由d个属性描述组成的示例。

3.2 线性回归

线性回归（linear regression）试图学得一个线性模型以尽可能准确地预测实值输出标记。

1.首先只考虑输入属性只有一个的情形，即

f(x) = wx_i + b，使得f(x_i) ≈ y_i。

(1）首先需要对输入属性进行转换操作，对于离散属性：

• 如果属性值间存在“序”（order）关系，可通过连续化将其转化为连续值。
  eg：二值属性“身高”的取值“高”“矮”可转化为｛1.0， 0.0｝；
• 如果属性值间不存在序关系，假定有k个属性值，则通常转化为k维向量。
  eg：属性“瓜类”的取值“西瓜”、“南瓜”和“黄瓜”，可转化为（0，0，1），（0，1，0），（1，0，0）。

（2）w和b的确定

借用均方误差来衡量预测值和真实值之间的区别，令均方误差最小化：

均方误差对应了常用的欧几里得距离（欧氏距离），基于均方误差最小化来进行模型求解的方法称之为“最小二乘法”，也就是试图找到一条直线，使所有样本到直线上的欧式距离之和最小。

求解w和b使得均方误差最小化的过程，称为线性回归模型的最小二乘“参数估计”。

将E_(w,b)分别对w和b求导：

令上面两个式子为0就得到w和b最优解的闭式解：


2.考虑更一般的情况，即数据样本由d个属性描述，此时试图学得

f(x_i) = w^Tx_i + b，使得f(x_i) ≈ y_i。

称为“多元线性回归”或“多变量线性回归”。