ill-posed problem 以及 Tikhonov regularization

ill-posed problem

已知矩阵A和向量b，我们希望能够找到一个解x，满足Ax = b。
标准的方法是最小二乘线性回归法，然而如果找不到这样的x，或者是存在多个x符合这个等式，即解不是唯一的，则我们称这个问题为ill-posed。在这种情况下，如果用最小二乘法往往会导致模型过拟合或者欠拟合，则需要使用正则化来避免这些问题。

Tikhonov regularizations

Tikhonov regularizations是最常用的ill-posed problems的正则化方法，在统计学领域，这个方法被称作脊回归（rigde regression），在机器学习领域被称为weight decay，随着多种独立的研究的出现，它也被称作Tikhonov–Miller method, the Phillips–Twomey method, the constrained linear inversion method, 线性正则化方法。它与非线性最小二乘问题的Levenberg-Marquardt算法有关。

正则化

以最小二乘法的cost为例，在原本cost上加入正则化项，得到：

Tikhonov matrix的选择通常为单位矩阵：

倾向于使用较小的范数，如这里的L2正则化