机器学习中那些不显然的常识

2023-08-29

例子是理解抽象事物的钥匙。

1. 为什么使用均方差，或者其他的二次方函数作为损失函数？
第一，平方后非负；第二，二次函数很容易求极值。例子略。

2. 线性回归中的偏置项b，如果是多维则是向量，有何意义？为什么说常数1添加到变量x中，维度同时加1，可以将b也包含在回归参数a中？
先说，增加了偏置项b，可以对不过坐标零点的"直线"型数据进行回归，因为没有b，则y=Ax必过零点；那如何把b和a同等看待呢？例如：
有n各d维变量X，即：其中每个，即：.

如果令 ，()。这样就可以把公式改写为

这样,需要对X进行扩维，变为

   

这和计算机图形学中对三维空间进行旋转、缩放只需要3*3的矩阵就可以了，这是线性变换，但要进行平移变换，则需要4*4的矩阵是一个道理。

3. 机器学中中的似然函数为什么是多个采样数据(也就是训练数据)的条件概率的成绩呢？即：

见【3】

4. 安斯库姆提出的可以使用线性回归的数据的特征代表什么含义呢？
1）要预测的变量y与自变量x的关系是线性的。
2）各项误差服从正太分布，均值为0，与x同方差。
3）变量 x 的分布要有变异性。
4）多元线性回归中不同特征之间应该相互独立，避免线性相关。

5. 最先二乘法本质就是线性回归
见【1】。

参考资料：

1.https://zhuanlan.zhihu.com/p/71725190 机器学习第一课 | 一文读懂线性回归的数学原理

2. https://zhuanlan.zhihu.com/p/75731049 机器学习入门 | 最大似然估计：从概率角度理解机器学习

3. https://zhuanlan.zhihu.com/p/92083261 机器学习理论基础（1）-最大似然估计和贝叶斯估计