五月份组队学习【吃瓜教程】Task02打卡笔记

本次吃瓜教程是Datawhale组织的组队学习 。
学习资料由开源学习组织Datawhale提供。
笔记部分内容来源于网络检索，如有侵权联系可删
本次学习针对的对象：
有高数、线代、概率论与数理统计基础的同学
内容说明：周志华老师的“西瓜书”是机器学习经典入门教材，值得反复阅读，配合“南瓜书”从本科数学基础的视角进行讲解，一起打好基础！
学习周期：18天

Task02任务：详读西瓜书+南瓜书第3章
视频教程链接： https://www.bilibili.com/video/BV1Mh411e7VU

第三章

线性模型

3.1基本形式

在开启第三章的学习前，让我们再来了解下什么是线性模型：
给定由d个属性描述的示例X=(X1;X2;…;Xd),其中Xi是X在第i个属性上的取值，线性模型一般的公式可写为：
$$Y=XB+e\text{\hspace{1em}(1)}$$
其中Y是具有一系列多变量测量的矩阵，X是独立变量的观察矩阵B是包含通常要被估计的参数的矩阵，并且U是包含误差（噪声）的矩阵。

3.1线性回归

在西瓜书里用身高与瓜类来表达数据集D的属性间若存在“序”关系，可通过连续化将其转化为连续值。小字也提醒我们在能确切判断元素序关系前慎用连续化。
若属性值之间存在“序关系”，则可以将其转化为连续值
若属性值之间不存在“序关系”，则通常将其转化为向量的形式

均方误差是回归任务中最常用的性能度量，因此优化目标是最小化均方误差。基于均方误差最小化来进行模型求解的方法称为“最小二乘法”（least square method）。在线性回归中，最小二乘法就是试图找到一条直线，使得所有样本到直线上的欧式距离之和最小。

上图是对w求导的推导过程，可以和西瓜书侧旁的小字结合理解

对b的求导过程和w类似，通过两式可得w和b最优的闭式解
闭式解closed form solution）也叫解析解(analytical solution)，就是一些严格的公式,给出任意的自变量就可以求出其因变量,也就是问题的解, 他人可以利用这些公式计算各自的问题
例如我们高中常接触的一元二次方程的求根公式就是一元二次方程的解析解。