Functional & Calculus of variations

Fcuntional

普通形式：

定积分形式：

Functional derivatives[2]

先从普通函数讲起：
对于普通函数，我们通过对移动一小步，可以定义在处的differential:

由此，可以推广到多元函数处的differential：

所以说，导数derivative（以及偏导）其实就是微分计算中，每一个微分偏量前的系数
我们将这个式子可以用sum重写成：
泛函导数的定义：
（当然，其实我们不能保证所有functional的导数都存在）
由此式子（泛函的differential或者是variation of the functional F）定义泛函在处的导数，其中为任意函数：

可以类比下普通函数在点的total differential [2]：

普通函数导数类比泛函导数的理解方式：
两者都可以理解为对的variation（）等于在每“分量”处的变化率，即偏导数乘以其变化量。当时，即有无穷多个independent variables。类比泛函导数中，即为无限的连续的index
同时泛函由于有一个项，所以可以类比普通函数的方向导数[2]，即在方向上的导数（投影？）
其他相关概念理解：
其实泛函变分（variation）的概念即“variation of a functional”，与普通函数中微分（differential）的概念是相似的。同理"small change in input"在泛函中的普通函数中的也是类似的。

泛函导数的推导：
本身是EL equation的一种泛化，首先，针对EL的形式设：

根据differential的定义，在处的：

（1）
（2）
$= \int [\frac {\partial f}{\partial x} \frac {\partial x}{\partial \epsilon} + \frac {\partial f}{\partial \rho} \frac {\partial (\rho + \epsilon \phi)}{\partial \epsilon} + \frac {\partial f}{\partial \rho'} \frac {\partial (\rho' + \epsilon \phi')}{\partial \epsilon}] dx$ （3）
（4）
（5）
（6）
对比(1)和(6)，我们可以得到：
（7）
注，这里是对求导的意思，即

解读：
(2)：通过定义，其实是就是转化成了求的极限值。注意，这里两边同时对求导，为常数，为的函数，所以得：
(3)：对求导，由于跟无关，直接对积分内的运用chain rule即可
(4)：化简，由于所以第一项对的偏导可以消除
(5)：这一步主要想消除由两边同时积分再移项：。注意，是关于的函数，所以这里是对积分求导。
(6)：由于在边界上vanish，所以，再合并积分项
(7)：为针对EL equation的推导，该导数的可以推广到更泛化的形式[5]，可以通过多元的泰勒一阶展开推导[5.Doc]
泛函导数的性质[6]：
如下几个性质与普通函数导数相同
Linearity
Product Rule
Chain Rule

泛函极值条件 Weak Extrema of Functional

函数中最小值的条件：一阶导数为0是必要非充分的，且极值点二阶导数非负，此时是充要的。
类似地，可以通过二阶变分[7] 得到泛函极小值的条件：
Necessary：
Sufficient：且在该点处， strongly positive[8]
相关条件以及证明见Refer[8]

边界条件 Natural boundary condition

Essential boundary conditions are imposed explicitly on the solution but natural boundary conditions are automatically satisfied after solution of the problem.
在没有端点固定的问题中。
1、需要满足除了EL-equation：一阶变分为0条件见上述式子（7）。这个逻辑非常天然符合直觉，即使得问题取得极值的话，肯定也满足在其边界固定的问题中的极值条件。
2、还需要满足：以及。
否则，泛函不可能取得极值。由于这个条件是在求变分极值过程中得到的条件，所以是自然边界条件。

Other

微积分演变
https://www.zhihu.com/question/27926053/answer/1017772036?utm_source=wechat_session

E-L equation
https://en.wikipedia.org/wiki/Euler%E2%80%93Lagrange_equation
推导：
https://math.stackexchange.com/questions/1885316/functional-derivative-how-to-obtain-delta-f-int-frac-delta-f-delta-f-de
https://www.cnblogs.com/bigmonkey/p/9519387.html

变分法(Calculus of Variations(variational method))：
https://baike.baidu.com/item/%E5%8F%98%E5%88%86%E6%B3%95/83603
https://en.wikipedia.org/wiki/Calculus_of_variations
https://zhuanlan.zhihu.com/p/20718489

思考，Functionals 与Cost Function
https://stats.stackexchange.com/questions/158348/can-a-neural-network-learn-a-functional-and-its-functional-derivative
以及Functional Gradient Descent
cost function本身，也可以当作是一个functional？我们用它来最优化得到最终的function。

Refer：

[1]
与的差异：
https://math.stackexchange.com/questions/317338/differentiation-using-d-or-delta
stands for the exact differential 一般用在math中
refers to an inexact differential 一般用在physics中，inexact differentials

[2]
泛函
Functionals and the Functional Derivative
泛函导数，定义与计算方法：
见Doc：Functional Derivative
见：http://julian.tau.ac.il/bqs/functionals/node1.html
理解为方向导数见：https://bjlkeng.github.io/posts/the-calculus-of-variations/

[3]
https://en.wikipedia.org/wiki/Differential_of_a_function#Differentials_in_several_variables
involving the [partial derivative] of y with respect to x, The sum of the partial differentials with respect to all of the independent variables is the total differential

[4]
TODO（有关Radon-Nikodym定理，测度理论）

[5]
https://en.wikipedia.org/wiki/Functional_derivative
见 Determining functional derivatives中“An analogous application of the definition of the functional derivative yields”

[6]
https://en.wikipedia.org/wiki/Functional_derivative
见Properties

[7]:
Second Variation二阶变分。
https://encyclopediaofmath.org/wiki/Second_variation#:~:text=a%20sufficient%2C%20condition%20(under%20certain,at%20the%20point%20x0.&text=(the%20derivatives%20are%20evaluated%20at,x0(t)).

[8]
见：
1、https://en.wikipedia.org/wiki/Calculus_of_variations#Variations_and_sufficient_condition_for_a_minimum中的Variations and sufficient condition for a minimum
2、Notes on Sufficient Conditions for Extrema
3、https://math.stackexchange.com/questions/3155772/difficulty-understanding-sufficient-conditions-for-weak-extrema-in-calculus-of-v

[9]
1、见：https://math.stackexchange.com/questions/3315027/what-are-natural-boundary-conditions-in-the-calculus-of-variations
2、变分原理（Doc）中的自然边界条件。