Introduction and Motivation

1.1 Finding Words for Intuitions

本书的第一部分介绍了谈论机器学习系统的三个主要组成部分所需的数学概念和基础：数据、模型和学习。

机器学习的主要概念：

• 我们将数据表示为向量
• 我们选择一个合适的模型，要么使用概率视图，要么使用优化视图。
• 我们通过使用数值优化方法从可用数据中学习，目的是使模型在未用于训练的数据上表现良好

（至少）有三种不同的方式来看待向量（数据）：向量是一个数字数组（计算机科学观点），向量是一支有方向和大小的箭头（物理学观点），以及向量是一种服从加法和定标的物体（数学观点）

模型通常用于描述生成数据的过程，类似于手头的数据集。一个好的模型可以用来预测现实世界中会发生什么，而无需进行真实世界的实验。

1.2 Two Ways to Read This Book

我们可以考虑两种策略来理解数学形式的机器学习：

• 自下而上：建立从基础到更先进的概念。
• 自上而下：从实际需求深入到更基本的需求。

我们决定以模块化的方式编写这本书，将基础（数学）概念与应用程序分离开来，以便这本书可以双向阅读。

本书分为两部分，第一部分奠定了数学基础，第二部分将第一部分的概念应用于一组基本的机器学习问题，这些问题构成了机器学习的四大支柱，如图1.1所示：回归、维度归纳、密度估计和分类。

Part I Is about Mathematics

我们将数值数据表示为向量，并将此类数据的表表示为矩阵。

• 2.Linear Algebra
• 3.Analytic Geometry
• 4.Matrix Decompositions
• 5.Vector Calculus
• 6.Probability and Distribution
• 7.Continuous Optimization

Part II Is about Machine Learning

• 8.When Models Meet Data
• 9.Linear Regression
• 10.Dimensionality Reduction with Principal Component Analysis
• 11.Density Estimation with Gaussian Mixture Models
• 12.Classification with Support Vector Machines