cayley变换

Cayley变换是一个近年来常用于将神经网络中线性操作的矩阵替换成正交/酉矩阵的一个操作。

正交/酉矩阵的性质 

保范性

在深度学习中最重要的一点是保范性，即

证明过程：

实特征值取值范围为

 我们知道，如果是矩阵W的实特征值，那么就有其对应的实特征向量（非），满足

分别用等号两边的向量做内积：

因为在实数域，

所以我们知道：，解得

 何谓Cayley变换

, 其中的A是所谓的斜对称矩阵，即满足

证明W是正交矩阵： 

反之亦可证明。证明过程中最巧妙的一步就是 

那我们如何获得双向映射中的第二条（由W求A）呢？

由第一条得：

但是，通过Cayley变换，我们不能获得特征值为-1的正交/酉矩阵。为什么呢？

先写下我的猜想：

假设通过Cayley变换，我们获得的矩阵W存在特征值的情况，其对应的特征向量为。那么，我们就有。

当矩阵可逆时，它必然没有特征值为0。但，解得，说明不可逆。既然无法完成双射，那么这种情况自然Cayley变换就做不到了！