GNN基础知识

1. 泰勒公式

背景background

有一个很复杂的方程，我们直接计算方程本身的值可能非常麻烦。

所以我们希望能够找到一个近似的方法来获得一个足够近似的值

本质：

近似，求一个函数的近似值

• one point is 近似的方法
• another point is 近似的精度

泰勒公式原理

通过斜率逼近

 原理：经典的导数图，从上图可以看到，随着△x减小，间p0和点p也会越来越接近，这就带来了△y越来越接近△x·f'(x0)。

当然，当△x比较大时误差就会比较大，为了缩小误差，我们可以引入二阶导数、三阶导数以及高阶导数。由于最终不知道究竟要有多少阶导数，不妨假设f(x)在区间内一直有n+1阶导数。

To 与原值误差越来越小

分析 

以导函数图为例，用f(x0)去近似f(x)，f(x0)加上f'(x0)(x-x0)，仍然与真实值差着一小块误差e2: f(x)-△y，对于e2，继续用二阶导f''(x0)去加，去缩小f(x)-△y之间的误差。

2. Jacobian Matrix雅克比矩阵

假设F：Rn -> Rm是一个从n维欧式空间映射到m维欧式空间的函数，这个函数由m个实函数组成y1(x1,x2,...,xn),....,ym(x1,x2,...,xn)。这些函数的偏导数(如果存在)可组成一个m行n列的矩阵，即Jacobian matrix。

Meaning：这个线性映射即F在点p附近的最佳线性逼近。当x足够靠近p时，

区别：

• Jacobian matrix: 两个不同空间，点p逼近x
• Taylor series approximation：同一空间中，点p逼近点x

3. Laplacian matrix拉普拉斯矩阵

梯度gradient，矢量：该点处的导数沿该方向去的最大值，即变化率最大，可以简单理解为导数。

散度divergence，标量：表示空间中各点矢量场发散的强弱程度。

拉普拉斯算子：n维欧式空间中的一个二阶微分算子，定义为梯度的散度。

Meaning: 拉普拉斯算子计算了周围点与中心点的梯度差。

拉普拉斯矩阵：加权度矩阵 - 邻接矩阵，对称矩阵

证明：用简单的一阶向量模拟矩阵去证明，不然展开计算太麻烦！

4. 图傅里叶变换Graph Fourier Transformation

傅里叶变换：

• 傅里叶变换是将函数f(t)拆解成无数个不同频率正弦波之和的过程，F(w)表示角频率为w的波的系数。
• 函数f(t)为基函数投影，F(w)就表示w对应基上的坐标。

Meaning：函数f(t)可以想象成一个长度为无穷的向量，函数空间中的内积定义为积分，上面的傅里叶变换公式，将看作基，则整个式子就是在算f(t)在这个基上的坐标，所有的w都要算一次，就可以得到f(t)在 这组基上的完整坐标，即F(w)。 

• 而这个基恰好是拉普拉斯算子的特征向量。
• 对于图信号而言，拉普拉斯算子与拉普拉斯矩阵又吸纳沟通的作用。-> 可以用拉普拉斯矩阵的特征向量作为傅里叶投影的基！ 

特征分解：Eigendecomposition，将矩阵分解为由其特征值和特征向量表示的矩阵之积的方法。

• 广义矩阵: 
• 对称矩阵: 
• 正交矩阵: 

图傅里叶变换：用拉普拉斯矩阵的特征向量作为图傅里叶投影的基。

，Q表示拉普拉斯特征矩阵