医准智能基础知识系列读书讨论班笔记二

医准智能基础知识系列读书讨论班笔记二

线性代数（二）

矩阵的迹（trace）

矩阵的迹指的是一个矩阵（方阵）的主对角线上所有元素的和，用记号 或者 表示：

矩阵的迹，常用于矩阵函数的求导中。

• 一些常用的性质：
• 轮换不变：，可以推广到一般的 个矩阵相乘
• 常用的关于迹的求导[1]

行列式（determinant）

行列式的值为一个方阵所有特征值的乘积，其几何含义为二维有向面积或三维有向体积向一般高维空间的推广。

• 余子式： 为矩阵 除去第 行和第 列的元素后，剩下的矩阵的行列式的值
• 代数余子式：
• 行列式按行展开：
• 行列式按列展开：

主成分分析（PCA）

问题描述：假定我们手中有 个 维空间中的数据点 ，希望在一个维数较低为 的子空间中重建这些点，使得重建后的数据点与原始点的最接近，这个接近指的是丢失最小的关于数据点位置和分布关系的信息。书中将该问题分解为两个子问题：

1. 任意给定低维子空间 ，如何确定一个点的坐标

2. 在知道如何计算每个点在低维空间坐标的基础上，如何寻找一个最优的子空间

对于子问题 1，我们希望在低维子空间中重建的数据点离原数据点尽可能的接近，于是在限制了子空间 为一个 列标准正交的矩阵的前提下，该问题表示为如下的优化问题：

其中， 表示低维子空间 中点的坐标， 是我们希望找到的最理想的坐标。容易看出该问题是一个二次函数求极值问题，问题的目标函数是凸函数，所以函数的稳定点即为问题的最优解：

则由 列标准正交，可得

故

直观来看，最优坐标可通过与子空间的正交基的内积来计算。

对于子问题2，我们需要选取最合适的子空间 使得对于所有的数据点而言，重建误差的 2-范数 平方和最小。可通过如下的优化问题描述：

其中，矩阵，每一列为一个原始数据点

考虑矩阵 的特征分解 ，并假设 . 当 时， 退化为列向量 ，问题变为

容易求得该问题的最优解为 ，即最大特征值所对应的特征方向，对于 的情况，可以通过数学归纳法得到，所求问题的最优解为前 个最大特征值所对应的特征方向。