泛函分析（一）

目录

1.数学基本概念

2.泛函概念和应用

2.1常用知识点

2.2泛函数解决的问题

2.3核函数

3.应用

参考文献

---

1.数学基本概念

2.泛函概念和应用

2.1常用知识点

算子：无限维空间到无限维空间的变换称为。
泛函数：就是函数的函数，即一般函数自变量和因变量都是实数，泛函数自变量是函数，因变量是实数。

线性空间：泛函分析的研究对象是线性空间，其中包括向量空间、内积空间、赋范空间、Banach空间和Hilbert空间等。

线性算子：线性算子是泛函分析中的重要概念，它指映射一个线性空间到另一个线性空间的线性变换。线性算子包括有界线性算子、紧算子、正算子、自伴算子等。

泛函：泛函是一个将一个向量空间映射到一个标量域的函数，是函数空间的理论基础。泛函包括线性泛函、连续泛函、有界泛函、对偶空间等。

对偶空间：对偶空间是线性空间的一个重要概念，它对应于线性空间的所有线性泛函的集合。对偶空间包括有限维对偶空间和无限维对偶空间，其中无限维对偶空间又包括连续对偶空间和弱对偶空间。

算子理论：算子理论是泛函分析的重要分支，它主要研究线性算子的特征和性质，包括谱理论、Fredholm理论和压缩算子理论等。

变分法：变分法是一种基于泛函的优化方法，它可以用于求解极值和微分方程等问题。变分法包括变分原理、变分推导、最小化原理、欧拉-拉格朗日方程和哈密顿-雅可比方程等。

2.2泛函数解决的问题

对于函数而言，能力是有极限的。一般而言，线性回归在训练所得到的最优解，误差也并不为0，此时泛函从升维的角度解决最优解问题，让我们不再考虑输入数据的最优化处理，而是函数空间甚至抽象空间中考虑问题。

无限维线性空间：4维以上以至于无限维，无法直接观测。因为高维空间无法可视化，所以引入两个点，然后通过这两个点的距离来给我们一些高维世界的空间感，所以泛函分析中大量的空间定义都是需要两个点的，利用点与点的距离来建立对高维空间的认知，机器学习中的kernel function（核函数）其实就是这一思路的一个比较出色的应用。所以至此，我们对高维空间的定义从公整的坐标系变成了不规则，像香肠一样的流形，但同时，我们也获得了计算高维空间函数的能力

2.3核函数

概念：它是针对线性可分情况进行分析，对于线性不可分的情况，通过使用非线性映射算法将低维输入空间线性不可分的样本转化为高维特征空间使其线性可分，从而使得高维特征空间采用线性算法对样本的非线性特征进行线性分析成为可能。

解释：以下图为例，二维有四个特征，难以分类，将其转化到三维空间，就简单了很多。

3.应用

信号处理、机器学习、优化和最优控制等领域

使用泛函分析的经典定理 Banach Fixed-Point Theorem 来证明强化学习中 Value Iteration 等算法的收敛性。

巴拿赫不动点定理（Banach Fixed-Point Theorem）

参考文献

1.泛函分析和他的基础概念_泛函数-CSDN博客

2.机器学习-核函数（核模型）_机器学习核函数-CSDN博客

3.泛函分析（1）-泛函简介与实践_点云数据处理的博客-CSDN博客 

4.当强化学习遇见泛函分析-CSDN博客 

5.一文了解泛函分析-CSDN博客 

6.【转】成为机器学习大家，你不能不懂数学_convex analysis and optimization 中的错误_Just Jump的博客-CSDN博客 

7.巴拿赫不动点定理_证明不动点巴拿赫空间-CSDN博客 

8.Banach's Fixed Point Theorem（contraction mapping theorem，巴拿赫不动点定理）-CSDN博客