机器学习：公式推导与代码实现-机器学习预备知识

机器学习三要素

任何一个机器学习方法都是由模型（model）、策略（strategy）和算法（algorithm）三个要素构成的，具体可理解为机器学习模型在一定的优化策略下使用相应求解算法来达到最优目标的过程。

模型

机器学习的第一个要素是模型。机器学习中的模型就是要学习的决策函数或者条件概率分布，一般用假设空间（hypothesis space）来描述所有可能的决策函数或条件概率分布 。

策略

机器学习的第二个要素是策略。简单来说，就是在假设空间的众多模型中，机器学习需要按照什么标准选择最优模型。对于给定模型，模型输出和真实输出之间的误差可以用一个损失函数（loss function）来度量。不同的机器学习任务都有对应的损失函数，回归任务一般使用均方误差，分类任务一般使用对数损失函数或者交叉熵损失函数等。

算法

机器学习的最后一个要素是算法。作为机器学习三要素之一的算法，指的是学习模型的具体优化方法。当机器学习的模型和损失函数确定时，机器学习就可以具体地形式化为一个最优化问题，可以通过常用的优化算法，比如随机梯度下降法、牛顿法、拟牛顿法等进行模型参数的优化求解。

机器学习核心

机器学习的目的在于训练模型，使其不仅能够对已知数据而且能对未知数据有较好的预测能力。当模型对已知数据预测效果很好但对未知数据预测效果很差的时候，就引出了机器学习的核心问题之一