传统Tikhonov(L2)正则化逼近公式推导

此篇文章主要针对Tikhonov正则化初学者了解Tikhonov泛函是怎样给出的以及解的推导。

Tikhonov正则化

首先我们先给出Tikhonov正则化方法
我们在学习研究反问题和正则化的文章时，往往会直接给出如上定理，但Tikhonov泛函和解的给出并没有作过多解释，因此，接下来的内容主要是推导和理解以上内容。

正则化

我们在解决如Ax=y的线性算子方程时，通常采用经典的最小二乘法估计，但是这种方法会导致过拟合或者产生方程的欠定解。解决过拟合的一种方法就是正则化方法。

1. 最小二乘法 ：最小二乘法的原则是以“残差平方和最小”确定直线位置。
2. 过拟合 ：过度拟合的问题通常发生在变量过多的时候。这种情况下训练出的方程总是能很好的拟合训练数据。但是，这样的曲线千方百计的去拟合训练数据，导致它无法泛化（模型能够应用到新样本的能力）到新的数据样本中，以至于无法预测新样本。
3. 惩罚项：所谓『惩罚』是指对损失函数中的某些参数做一些限制。引入正则化项之后，会提高抗干扰能力，提高泛化能力。

Tikhonov逼近式推导

得到Tikhonov泛函后，只需要求解使泛函最小值成立的X即可。
通过微分求解，得到的逼近式结果同上面的（2.8）结果相同。

线性算子角标不同的原因：K*代表K的转置共轭，在推导时我们默认其为实矩阵。（相关内容可参考广义逆）

关于此文章有什么问题欢迎在评论区与我讨论~

参考文献：
郑恩希.几种不适定问题的正则化方法及其数值实现[D].吉林大学,2009.
王彦飞.反问题的优化与正则化算法[D].中国科学院,2002.