Mathematics for Machine Learning学习笔记—3 解析几何

这一章主要讲了内积、范数、投影和正交化。几何向量的长度和角度。

3.1 Norms

几何向量（geometric vectors）是从原点开始的有向线段，向量的长度是“端”到原点的距离

范数（Norms)

Defifinition 3.1 (Norm) .在向量空间V中范数是的长度，表示为。

性质：

1、 Absolutely homogeneous: 

       

2、Triangle inequality:

 3、Positive defifinite（正定性）：

范数分为范数、范数、范数、范数

范数：

范数:

范数:

 范数: 

3.2 Inner Products

内积（Inner Products）

一个向量的长度可以用内积表示，两个向量之间的角度和向量之间的距离也可以用内积表示。内积主要的目的是为了判断向量之间是否正交。

3.2.1 Dot Products

点积（Dot Products）:点积是内积的一种。

3.2.2 General Inner Products

双线性映射，向量空间V，向量, , 满足：

Defifinition 3.2.

1.若对，V是一维空间，则称 是对称的 （ symmetric）

2.若对, , , 则称是正定的（positive defifinite）

Defifinition 3.3.

1.一个对称正定的双线性映射 ，被叫做向量空间V上的内积，将内积 写作

2. 叫做内积空间或者叫（实）带有内积的向量空间。如果是点积，则叫做欧几里得向量空间。

在这本书里，作者将所有空间认作内积空间，将所有出现的内积作为点积来计算。

Example3.3（内积不是点积）作者在这部分证明了内积不是点积，举例在二维空间下，内积不是点积。

3.2.3 Symmetric, Positive Defifinite Matrices

对称正定矩阵（Symmetric, Positive Defifinite Matrices）由内积定义得到的，在机器学习中有重要的作用。

一个具有内积的n维向量空间V，向量空间V中的一组有序的基向量，向量空间中的向量可以由基向量线性表示，，，根据内积的双线性，对all都有：

内积<·,·>由A唯一确定，内积是对称的，意味着A也是对称的。

Defifinition 3.4 当，，A被称为对称正定矩阵或者正定矩阵；若，则A被称为对称半正定矩阵。

3.3 Lengths and Distances

将内积当作点积的时候，内积可以诱导出二范数。

Definition 3.6 （距离和矩阵）的距离

3.4 Angles and Orthogonality

Orthogonality（正交性）

orthogonal（正交的）

orthonormal（正交规范）

两个向量之间的角度w：

Definition3.7(正交性)当且仅当=0，两向量正交。若向量正交，且，则是正交规范的（orthonoemal）。

 若两个向量正交，则两向量垂直（当内积当作点积时）, 若内积不是点积，则两向量不垂直。Example3.7证明了这一点。

Definition 3.8(正交矩阵)正交矩阵的两种定义：

1.

2.方阵

 矩阵是对象，一张数表存信息；矩阵是一种对向量操作的算子，有旋转和伸缩两种操作，A，表示A作用在上，对进行伸缩和旋转，但是当矩阵A固定时，对不同的向量的作用效果不一定相同。但是当A是正交矩阵时，矩阵A具有保长性和保角性。

保长性：

，正交矩阵A对所有向量的伸缩比例都是1；

保角性：

 

3.5 Orthonormal Basis

Orthonormal Basis(正交基)

Definition3.9（正交基）基向量的正交性：

3.6 Orthogonal Complement

Orthogonal Complement(正交补)：两个子空间正交，三维空间中，过原点的平面和过原点的直线垂直。

3.7 Inner Product of Functions

函数的内积

3.8 Orthogonal Projections

3.9 Rotations