（光滑样条）Smoothing spline的数学推导

一般的不加入光滑因子的拟合误差如下式：
$$RSS(f,\lambda )=\sum _{i=1}^N{\left\{y_i-f(x_i)\right\}}^2$$ 引入$\lambda 光滑因子式均方误差$
$$RSS(f,\lambda )=\sum _{i=1}^N{\left\{y_i-f(x_i)\right\}}^2+\lambda \int {\left\{f^{{}^{\prime \prime }}(t)\right\}}^{2}dt$$其中，$f(x)={\sum }_{j=1}^N{N}_j(x){\theta }_j$，对上式用矩阵的形式表示可得如下形式：
$$RSS(\theta ,\lambda )=(y-N\theta {)}^T(y-N\theta )+\lambda {\theta }^T{\Omega }_N\theta$$其中，${\left\{N\right\}}_{ij}=N_j(x_i)$ , ${\left\{{\Omega }_N\right\}}_{ij}=\int N_j^{{}^{\prime \prime }}{N}_k^{{}^{\prime \prime }}dt$，我相信有一部分同学觉得公式来的太突然。当我们将前面$f(x)={\sum }_{j=1}^N{N}_j(x){\theta }_j$代入$RSS$的计算公式中，将${\left\{f^{{}^{\prime \prime }}(t)\right\}}^2$分解成$f^{{}^{\prime \prime }}(t)\ast f^{{}^{\prime \prime }}(t)$根据矩阵的一些乘积变换即可得到$RSS(\theta ,\lambda )$
然后对$\theta$求导等于0,也就是最小二乘法的思想
$$\hat{\theta }=(N^{T}N+\lambda {\Omega }_N{)}^{-1}{N}^{T}y$$将我们得到的$\hat{\theta }$带入原来的拟合函数可得$$\hat{f}(x)=\sum _{j=1}^N{N}_j(x)\widehat{{\theta }_j}$$
$-----------------分割线----------------$
在我们进行接下来的分析前我们先回顾一下未引入光滑参数的情况，并一次来探讨自由度和光滑矩阵的问题：
设B是一个N*M的矩阵，N代表有N观测点
此时$$\hat{f}=B(B^{T}B{)}^{-1}{B}^{T}y=Hy$$
矩阵H具有对称，半正定的性质，类似的矩阵$S_{\lambda }$也具有对称半正定的性质。
矩阵H还是幂等矩阵，所以$H\ast H=H$这点不难证明，只需要乘一次就能得到，幂等矩阵具有特征值非1即0的性质，而$S_{\lambda }\ast S{}_{\lambda }<=S_{\lambda }$，在这里也能看到矩阵$S_{\lambda }$有着压缩的作用。
矩阵H秩为M，矩阵S的秩为N，在投影空间中M=trace(H)，这也是基础函数的个数，类似的我们定义光滑样条的有效自由度为：$$d{f}_{\lambda }=trace(S_{\lambda })$$
有很多讨论支持有效自由度的定义，下面进行讨论：
将$S_{\lambda }$写成$Reinsh$形式：
$$\begin{gathered} S_{\lambda }=N(N^{T}N+\lambda {\Omega }_N)N^T \\ =N(N^T[I+\lambda N-T{\Omega }_N{N}^{-1}]N{)}^{-1}{N}^T \\ =(I+\lambda N^{-T}{\Omega }_N{N}^{-1}{)}^{-1} \end{gathered}$$也就是说矩阵$S_{\lambda }$可以写成如下形式
$$S_{\lambda }=(I-\lambda K{)}^{-1}$$
此时$RSS(f)=(y-f{)}^T(y-f)+\lambda f^{T}Kf$，最小化RSS的$\hat{f}=S_{\lambda }y$。
由于矩阵S的对称半正定性质，所以对其进行特征分解：
$$S_{\lambda }=\sum _{k=1}^N{\rho }_k(\lambda )u_k{u}_k^T$$
其中，${\rho }_k(\lambda )=\frac{1}{1+\lambda d_k}$,这里的$d_k$是矩阵K的特征值。

此时我们可以对$\hat{f}$重新写成：$\hat{f}=S_{\lambda }y=\sum _{k=1}^N{\rho }_k(\lambda )u_k{u}_k^{T}y$,这里可以看作$u_k$对y的分解。
引入下面一张图片，对这里所说的特征向量进行说明：

从这张图中我们可以看到随着特征值的减少，矩阵的特征向量越复杂，但同时也在压缩，这也就是为什么矩阵的特征值能达到压缩自由度的原因，而且特征向量与参数$\lambda$无关。
关于参数$\lambda$大小的选取（这里仅仅给出R语言的实现，具体证明有空再写）：
1：固定有效自由度，反解出其大小

2：利用留一交叉验证进行求解