embedded electronic system for AI/ML 学习笔记

第一章 线性回归 linear regression

先介绍一下监督学习和无监督学习：

1. 监督学习：利用一组已知类别的样本调整分类器的参数，使其达到所要求性能的过程。
2. 无监督学习：根据类别未知(没有被标记)的训练样本解决模式识别中的各种问题。这类学习通常缺乏足够的先验知识，因此难以人工标注类别，或者进行人工类别标注的成本太高。

常见的机器学习的流程

1. 选择一个模型用来描述变量与输出之间的关系
2. 定义一个损失函数用来量化和实际数据拟合效果有多差
3. 选择一个正则化器
4. 拟合模型（选择合适的优化算法）

如何解决线性回归问题？

这里我们选择利用矩阵向量来处理多特征（muilt-feature）。
选择权重w和偏移量b偏导为0时使得损失函数达到最小值。
迭代方法（Iterative method）在寻找单一最优点时较为有效，例如梯度下降法（Gradient Descent）。

梯度下降法

1. 通过寻找最陡坡度来寻找最小值
2. 若损失函数L对权重wj偏导大于零，这时增加权重就会增加损失；若损失函数L对权重wj偏导小于零，这时增加权重就会减少损失。我们最终的目的是减少损失。
3. 在偏导前引入学习比率（learning rate）a并与偏导相乘。
   • a是一个超参数（hyperparameters），影响收敛（convergence）到最小值的速率以及可能性。
   • 若a太小，那么梯度下降较慢；若a太大，那么梯度下降太快可能引发超调目标甚至偏离。
   • 观察训练曲线（training curves），可以看到若a太小，学习太慢，训练误差减少也慢。若a太大，学习太快，学习不会收敛甚至可能发散，然后使得训练误差忽上忽下，甚至增加。

缩放和正则化（scaling and normalization）

当各个特点（features）之间的范围不同时，需要统一范围。

过拟合和欠拟合

当数据无法满足线性关系时，我们应该考虑多项式（polynomial）
underfitting：模型过于简单（多项式阶数过低），无法拟合数据
overfitting：模型过于复杂，虽然可以符合训练数据，但是在不可见数据（unseen data）上不通用

如何避免过拟合与欠拟合