机器学习笔记1 －－ 线性回归

机器学习三要素：算法 数据 模型

三者关系－－利用算法通过在数据上训练得到模型，模型可以用来在新的数据上预测结果。

数据－分为有标注／无标注数据，需要转化为向量空间模型VSM，供计算机使用

模型－预测值y'和实际值y误差越小模型越好。描述y'和y之间差别的函数叫损失函数（Loss Function）；描述整体上差别的函数叫代价函数（Cost Function）。

- 对分类而言，模型验证指标有精准率（Precision）和召回率（Recall），以及综合了这两个指标的F1Score。例：验证A类的准确率，TP-实际和预测都为A；FP-实际非A预测为A；FN-实际是A预测非A。那么Precision=TP/（TP+FP）所有预测为A中的正确率；Recall=TP/（TP+FN）所有实际为A中预测正确的比例；F1Score = 2*(Precision * Recall)/(Precision + Recall)

- 从拟合角度，分为欠拟合和过拟合。欠拟合是在训练样本里选取的特征值过少，在训练集上准确率偏低；过拟合是特征选取不当/过多，模型太复杂，训练集上准确率高，测试集上准确率低。

训练－分为有监督／无监督学习，有监督是有训练样本，已知部分数据及其对应分类；无监督是没有任何训练样本直接对数据进行建模，比如聚类。

算法－用来寻找模型参数，使代价函数值最小。比如梯度下降法。

问题域

x和y满足线性关系－包含一个或多个自变量的一阶多项式。

模型函数

y=mx+b(一维特征)

我们需要利用已有训练数据来求出常数a和b的值

目标函数

每一个机器学习模型都有一个目标函数，学习的目标，就是最小化代价函数。线性回归即找到每个点和直线距离最小的那条线。

线性！＝直线

训练数据的特征是n维，线性模型是在n＋1维空间中的线，面，体。只有特征是一维的时候，线性回归模型才是一条直线。

线性模型也可以拟合非线性关系。

令x^2=x2 x=x1, f(x1,x2)=a+b1x+b2x^2=a+b1x1+b2x2

训练算法

学习的目标是最小化代价函数，当目标函数为凸函数的时候（常见模型目标函数均为凸函数），只需要求解凸函数的最小值。最常用的求解方法及梯度下降法。

以一定的步长α沿曲线切线方向移动，一直到最小点。

起点：

步长：由外界指定，算法不能学习出来。这样的参数称为超参数。选取步长大虽然快但是容易错过最小值；步长小则会加大计算量。为了吸收两者优点，我们可以前期选择大步长，当斜率缓和后改用小步长。

起点：如果目标函数有多个极小值，选取起始位置不佳，则容易进入局部最小值。这种情况下可以尝试几个不同的起点，甚至加大步长跨出局部最小值。

终点：训练程序可以是以人工指定迭代次数来确定退出条件，也可以以模型结果与真实结果的整体差值小于某一个阈值为退出条件。