深入思考内积运算，再看傅里叶系数、伽辽金法本质

关于函数内积的思考

定义内积\点积的核心目的在于描述广义的角度（或称相关性）

1.起源于点积

$$u\cdot v$$

​ 点积是人为定义的一种运算方式，描述了向量的长度和角度，其有两种等价的定义方式，代数定义和几何定义。

---

代数定义：

​ 在线性空间中引入笛卡尔坐标系，坐标和向量一一对应，此时坐标等价于向量，通过对向量坐标的运算可获得点积结果。

二维向量
$$u=\left[\begin{array}{c}{u}_1\\ u_2\end{array}\right],v=\left[\begin{array}{c}{v}_1\\ v_2\end{array}\right]$$

$$u\cdot v=\left[\begin{array}{cc}{u}_1& u_2\end{array}\right]\left[\begin{array}{c}{v}_1\\ v_2\end{array}\right]=u_1{v}_1+u_2{v}_2$$

n维向量：
$$u=\left[\begin{array}{c}{u}_1\\ u_2\\ ⋮\\ u_n\end{array}\right],v=\left[\begin{array}{c}{v}_1\\ v_2\\ ⋮\\ v_n\end{array}\right]$$

$$u\cdot v=\sum _{i=1}^n{u}_i{v}_i=u_1{v}_1+u_2{v}_2+\cdots +u_n{v}_n$$

---

几何定义
​ 通过定义向量的长度和角度去描述向量。
$$u\cdot v=\left|u\right|\left|v\right|\cos \theta$$
定义向量长度的计算方式：
$$\begin{array}{rl}& 二维向量:\left|u\right|=\sqrt{u_1^2+u_2^2}=(\sum _{i=1}^2{u}_i^2{)}^{\frac{1}{2}}\\ & n维向量:\left|u\right|=\sqrt{u_1^2+u_2^2+\cdots +u_n^2}=(\sum _{i=1}^n{u}_i^2{)}^{\frac{1}{2}}\end{array}$$
（注：我们熟悉的欧几里得空间下的距离（长度）公式，其实是由点积运算给出的）
$$\left|u\right|=\sqrt{u_1^2+u_2^2}=(u\cdot u{)}^{\frac{1}{2}}$$

有一个普遍的误区，认为点积结果是投影、分量，严格的讲，不正确，只有当向量与单位向量做点积时，结果的数值才与投影、分量相等，但点积结果同时包含了两者的长度、夹角信息，所以不可能等价于一个数字。

并且投影与分量也是不同的概念

投影以整个空间的单位长度为单位长度，分量以被投影向量的长度为单位长度

$投影=\frac{点积结果}{被投影向量长度}$
$$u在v方向上的投影=\left|u\right|\cos \theta =\frac{u\cdot v}{\left|v\right|}$$
$分量=\frac{点积结果}{被投影向量长{度}^2}=\frac{点积结果}{被投影向量与自己的点积}$
$$\begin{array}{rl}u在v上的分量& =\frac{u\cdot v}{\left|v\right|\left|v\right|}\\ & =\frac{u\cdot v}{v\cdot v}\end{array}$$

---

2.点积的意义

因为代数定义仅仅运算数字，难以进行分析，所以我们从等价的几何定义分析其意义
$$u\cdot v=\left|u\right|\left|v\right|\cos \theta$$
由几何定义的表达式可知，点积的结果中包含了两个向量的长度和夹角信息
$$\begin{array}{rl}& 长度信息:\left|u\right|\left|v\right|\\ & 夹角信息:\cos \theta \end{array}$$
其中的夹角信息很有价值，它反映了向量间的相关性（或者说接近程度），如果两个向量的夹角越小，说明形态很接近，相关性很强。（正是这条性质，使得点积/内积运算拥有了很大的威力）

不过三角函数已经可以描述角度了，为什么还要引入点积运算去描述角度的？

从几何意义的点积结果看，描述角度的是三角函数，确实如此，但问题在于，有可能三角函数不容易计算，甚至在高维空间、其他空间中，不一定存在这种可以直接计算出角度信息的三角函数运算法则，所以更广泛描述角度的方式是，先通过代数定义计算出点积结果，再计算长度信息，然后从点积结果中过滤掉长度信息，剩下的就是抽象的广义角度。

所以引入点积运算的目的是同时定义出长度和角度（但这导致点积运算不纯粹，因为点积结果融和了长度、角度信息）

---

3.描述向量间的相关性

必须注意的是，点积的结果融和了长度信息和夹角信息，因为相关性和向量的长度无关，所以当我们只关心相关性时，长度信息就变成了干扰，所以利用点积衡量相关性前，应该对向量做单位化（归一化、标准化）处理，剔除长度信息，只保留夹角信息。

1.不剔除长度信息，无法准确描述相关性：
$$a=\left[\begin{array}{c}1\\ 1\end{array}\right],b=\left[\begin{array}{c}0\\ 1\end{array}\right]$$

$$\begin{array}{rl}& a\cdot b=\left[\begin{array}{cc}1& 1\end{array}\right]\left[\begin{array}{c}0\\ 1\end{array}\right]=1\\ & 2a\cdot b=\left[\begin{array}{cc}2& 2\end{array}\right]\left[\begin{array}{c}0\\ 1\end{array}\right]=2\end{array}$$

2.剔除长度信息：单位化处理，将所有向量的长度（模长）均变换到1
$$\begin{array}{rl}& a^{\prime }=\frac{a}{\Vert a\Vert }=\frac{\left[\begin{array}{cc}1& 1\end{array}\right]}{\sqrt{1^2+1^2}}=\left[\begin{array}{cc}\frac{\sqrt{2}}{2}& \frac{\sqrt{2}}{2}\end{array}\right]\\ & a^{\prime \prime }=\frac{2a}{\Vert 2a\Vert }=\frac{\left[\begin{array}{cc}2& 2\end{array}\right]}{\sqrt{2^2+2^2}}=\left[\begin{array}{cc}\frac{\sqrt{2}}{2}& \frac{\sqrt{2}}{2}\end{array}\right]\\ & b^{\prime }=\frac{b}{\Vert b\Vert }=\frac{\left[\begin{array}{cc}0& 1\end{array}\right]}{\sqrt{0^2+1^2}}=\left[\begin{array}{cc}0& 1\end{array}\right]\end{array}$$

$$\begin{array}{rl}& a^{\prime }\cdot b^{\prime }=\left[\begin{array}{cc}\frac{\sqrt{2}}{2}& \frac{\sqrt{2}}{2}\end{array}\right]\left[\begin{array}{c}0\\ 1\end{array}\right]=\frac{\sqrt{2}}{2}\\ & a^{\prime \prime }\cdot b^{\prime }=\left[\begin{array}{cc}\frac{\sqrt{2}}{2}& \frac{\sqrt{2}}{2}\end{array}\right]\left[\begin{array}{c}0\\ 1\end{array}\right]=\frac{\sqrt{2}}{2}\end{array}$$

---

4.函数内积

定义函数内积运算（实数域下）
$$⟨f(x),g(x)⟩={\int }_a^{b}f(x)g(x)dx$$
从n维向量的点积理解函数内积

在$f(x)$和$g(x)$函数曲线上选部分点作为n维向量
$$\begin{array}{r}f=\left[\begin{array}{cccc}{f}_1& f_2& \cdots & f_n\end{array}\right]\\ g=\left[\begin{array}{cccc}{g}_1& g_2& \cdots & g_n\end{array}\right]\end{array}$$
对n维向量做点积，得到点积结果
$$f\cdot g=\sum _{i=1}^n{f}_i{g}_i(1)$$
当$n\to \infty$时，就是“函数的点积”
$$\underset{n\to \infty }{\lim }\sum _{i=1}^n{f}_i{g}_i(2)$$
但此数列求和后发散，发散的数列没法计算，所以人为的对（1）式乘上 $△x$，转为求黎曼和，也就是黎曼积分。（乘$△x$的原因分析见后文）
$$(\sum _{i=1}^n{f}_i{g}_i)△x(3)$$
对（3）式的$n$求极限:
$$\underset{n\to \infty }{\lim }(\sum _{i=1}^n{f}_i{g}_i)△x={\int }_a^{b}f(x)g(x)dx(4)$$
将（4）中右式的积分定义为内积的代数计算方式，并采用尖括号+逗号的书写方式代表这种运算：
$$⟨f(x),g(x)⟩={\int }_a^{b}f(x)g(x)dx(5)$$

---

分析乘 $△x$的根本原因

（2）式到（3）式可能会难以理解，因为按照n维向量的推广，乘积+求和就已经完成推广了，为什么要额外引入一个$△x$，如果直接凭空引入一个量，那这推广的内积真的是内积吗，它还具备点积的描述长度和角度的能力吗？

答案是肯定的

首先，引入$△x$，一定程度上是因为（2）式发散不能用，取平均，求黎曼积分之后才变得可计算。

最重要的，其实是我们的目的，如果目的达到了，采用何种形式都是可以的。

当初定义点积运算的目的是为了描述长度、角度，所以如果由（5）式定义出的内积运算具备了同时描述长度和角度的能力，那它就是正确的

我们暂且认为（5）式是成立的，思考其长度定义

点积运算带来的长度定义：
$$\left|u\right|=(u\cdot u{)}^{\frac{1}{2}}=\sqrt{u_1^2+u_2^2}$$
内积运算带来的长度定义：（长度被推广为范数，原有的两根竖线，变为四根）
$$\Vert f(x)\Vert ={⟨f(x),f(x)⟩}^{\frac{1}{2}}=\sqrt{{\int }_a^{b}f(x)f(x)dx}$$
此处推广的长度定义是符合认知的，两者结构一模一样

按照前文点积运算描述角度方式，只需得知点积结果、长度信息，即可反推出角度信息，而由（5）式定义的内积运算，有收敛的运算结果，也定义了长度的计算方式，自然可以反推出广义的角度信息，所以目的达到了，（5）式具备同时描述长度和角度的能力，它确实站得住脚。

我们人为乘上了 $△x$再取极限（相当于乘了一个常数），看似改变了推广的内积运算结构，会影响长度信息（不影响角度信息，因为角度代表相关性，而相关性和长度、大小无关），实际不然，因为长度不是绝对的，不同空间下的长度是不同的，这是一个相对量，一个按照内积运算所定义出来的量。所以当内积运算法则改变时，长度的定义也发生了变化

乘上 $△x$再取极限时，欧几里得空间的长度由点积运算定义，推广点积为内积运算后，欧几里得空间演变为内积空间，其长度由内积运算定义，原有的点积运算不再适用

---

5.由内积看傅里叶系数

以一个部分正弦展开的函数$f(x)$为例，容易理解，$f(x)$是由基函数$sin\frac{n\pi }{l}$的线性叠加组成
$$f(x)=\sum _{n=1}^{\infty }{A}_{n}sin\frac{n\pi }{l}x$$
其傅里叶系数$A_n$为：
$$A_n=\frac{2}{l}{\int }_0^{l}f(x)sin\frac{n\pi }{l}x\cdot dx(6)$$
和向量的分解完全一样，其实$A_n$就是$f(x)$在各个基函数$sin\frac{n\pi }{l}$上的分量$(分量=\frac{内积结果}{基函数的长{度}^2}=\frac{内积结果}{基函数与自己的内积})$
$$\begin{array}{rl}{A}_n& =\frac{⟨f(x),sin\frac{n\pi }{l}x⟩}{{\Vert sin\frac{n\pi }{l}x，sin\frac{n\pi }{l}x\Vert }^2}\\ & =\frac{⟨f(x),sin\frac{n\pi }{l}x⟩}{⟨sin\frac{n\pi }{l}x,sin\frac{n\pi }{l}x⟩}\end{array}$$

---

推导：

将$A_n$改写为：
$$A_n=\frac{{\int }_0^{l}f(x)sin\frac{n\pi }{l}x\cdot dx}{\frac{l}{2}}(7)$$
其中$\frac{2}{l}$的由来：
$$\begin{array}{rl}\frac{l}{2}& ={\int }_0^{l}sin\frac{n\pi }{l}x\cdot sin\frac{n\pi }{l}x\cdot dx\\ & ={\Vert sin\frac{n\pi }{l}x,sin\frac{n\pi }{l}x\Vert }^2\\ & =⟨sin\frac{n\pi }{l}x,sin\frac{n\pi }{l}x⟩(8)\end{array}$$
所以$\frac{2}{l}$就是基函数$sin\frac{n\pi }{l}x$与自己的内积结果、长度的平方

分母：
$${\int }_0^{l}f(x)sin\frac{n\pi }{l}x\cdot dx=⟨f(x),sin\frac{n\pi }{l}x⟩(9)$$
将（8）、（9）式代入（7）式中即可得到（6）式

---

6.由内积思考伽辽金法

加权余量法是建立在变分原理、求解微分方程近似解的一种方法。其核心部分，是令余量与权函数的内积为0。

其中伽辽金方法的精度最高，因为直接选取了构成近似函数的基函数作为权函数，在思维层面容易理解为何伽辽金方法的精度最高。

因为如果近似函数与构成它的基函数内积为0，说明近似函数在基函数上的分量为0，而近似函数本身就只是由基函数构成的，如果在各个基函数上分量为0，则只能可是其本身为0，才满足。

---

7.其他概念

空间=集合+结构

集合可以是数，如常见的实数域、复数域

结构指最底层的运算法则，如加减乘除

几种运算法则：

加法运算：加减法

数乘运算：乘除法

范数运算：有多种定义，但本质是定义了距离(或称长度、大小)

内积运算：有多种定义，但本质是定义了角度，并且恰好自带了一种距离的定义

距离（(或称长度、大小）是相对的概念，所以存在很多种范数运算

角度的本质是相关性（或称相似性、接近程度）

几种空间结构：

线性空间结构（简称线性结构） = 加法 + 数乘

内积空间结构 = 线性结构 + 内积运算

在内积空间中我们可以讨论长度、角度