对偶（duality）的含义

对偶问题机器学习或者线性规划等问题中经常被提到，如卡尔曼滤波与信息滤波互为对偶形式，支持向量机以及感知机也存在对应的对偶问题，那么应该怎样理解对偶问题呢？

对偶（duality）是一个在数学里面很普遍的概念，通常表示了一种 involution 的结构。也就是说， $x$ 是一个concept, theorem 或者 mathematical structure， $f(x)$是某种变换，如果有（but not always）$f(f(x))=x$ ，那么 $x$与$f(x)$就互为 dual。

如对偶概念的一个常见的应用：对于复杂的约束优化问题，如果可以找到一个易于求解的对偶问题，则通过对对偶问题的求解，得到原问题的解。虽然对偶理论起源于对线性规划问题的研究，但广义的对偶在数学里面有着广泛的应用。