笔记一

通过训练样本集的“学习”或训练来设计分类器，这是模式识别研究的重要内容。

模式识别的方法：

1. 模板匹配
2. 统计方法
3. 句法方法
4. 神经网络

预备知识：
（1）数理统计。
（2）线性代数和矩阵分析。

1. 迹的计算：
   定义：对任意n阶方阵有
   1).
   2).
   3).
   有

2. 矩阵导数：
   1：函数对向量的导数，结果为向量。
   定义：
   
   并且对于之后要用到的我们做一个计算：

要记下来：

并且有其他的推导：

2:函数对矩阵的求导，结果是矩阵
定义：

列出一些常用的：
设：
（1）
因为：

（2）
（3）.
（4）

3：矩阵对矩阵的求导，结果是大矩阵。
定义：

其中

请尝试一下下面这个：

然后就会了 函数的向量 矩阵求导。
以及 矩阵（向量） 对 矩阵（向量）的求导。

3. 正定（半正定）矩阵：
   定义：对称矩阵的特征值为正数（非负数）
   
   

另外：一个矩阵是半正定（正定）的充要条件是存在（非奇异矩阵）Q，使得：

有一个十分有用的性质：
正定矩阵A和半正定矩阵B可以同时对角化，即存在非奇异矩阵P使得：

证明：

构造U使得（为什么存在呢？）

并且构造P

4. 奇异值分解：