2022机器学习实战课内容笔记 - Lesson 1、机器学习基本概念与建模流程

还不是很会用ipad写笔记，没买类纸膜，字迹有点拉跨，请见谅

• 本篇内容介绍内容为 以线性回归模型为例子介绍连续型变量的预测，并介绍最小二乘法求损失函数的最小值方法，以及损失函数与评估指标的区别

  作为本节重点学习对象，此处我们整体梳理下机器学习的一般建模流程：

• Step 1：提出基本模型
    如本节中，我们尝试利用简单线性回归去捕捉一个简单数据集中的基本数据规律，这里的$y=wx+b$就是我们所提出的基本模型。当然，在后续的学习过程中，我们还将接触诸多不同种类的机器学习模型，而不同的模型也有对应的适用场景。值得注意的是，在提出模型时，我们往往会预设好一些影响模型结构或者实际判别性能的参数，如简单线性回归中的w和b；

• Step 2：确定损失函数

•   接下来，围绕建模的目标构建评估指标，并且围绕评估指标设置损失函数。当然，在本例中，模型评估指标和损失函数的建模流程相同。这里尤其需要反复提醒的是，损失函数不是模型，而是模型参数所组成的一个函数。

• Step 3：根据损失函数性质，选择优化方法
    之前提到，损失函数既承载了我们优化的目标（让预测值和真实值尽可能接近），同时也是包含了模型参数的函数，当我们围绕目标函数求解最小值时，也就完成了模型参数的求解。当然，这个过程本质上就是一个数学的最优化过程，求解目标函数最小值本质上也就是一个最优化问题，而要解决这个问题，我们就需要灵活适用一些最优化方法。当然，在具体的最优化方法的选择上，函数本身的性质是重要影响因素，也就是说，不同类型、不同性质的函数会影响优化方法的选择。在简单线性回归中，由于目标函数是凸函数，我们根据凸函数性质，我们选取了最小二乘法作为该损失函数的优化算法。但实际上，简单线性回归的损失函数其实是所有机器学习模型中最简单的一类损失函数，后续我们还将介绍其他模型的更加复杂的损失函数，以及对应的损失函数求解方法。

• Step 4.利用优化算法进行损失函数求解
    在确定优化方法之后，我们就能够借助优化方法对损失函数进行求解，当然在大多数情况下我们都是求解损失函数的最小值。而伴随损失函数最小值点确定，我们也就找到了一组对应的损失函数自变量的取值，而改组自变量的取值也就是模型的最佳参数。在本例中，通过优化方法求解损失函数的过程还是非常简单的，后续我们在进行更加复杂的损失函数、并适用更加复杂的优化算法案进行求解时，我们会发现，损失函数的求解过程才是建模的主体。

  截止目前，我们并未在数学理论和代码上展开讨论，此处我们也是希望能够在数学理论和代码难度不设门槛的情况下，先行介绍关于机器学习基础理论以及机器学习的一般建模流程。在后续的课程中，数学理论和代码难度都将逐渐提升。类似于最小二乘法严谨数学推导、手动实现复杂数据集上的线性回归建模、其他常用优化算法、调动Scikit-Learn完成相关建模工作等，都将在Lesson 2中进行详细讨论。