函数空间简介

“函数空间”，“傅立叶级数”，“勒让德多项式”，“希尔伯特空间”我读大学都曾遇到过，我学的教材这些概念是直接给出定义，基本不可能理解。我在Gilbert Strang《线性代数及其应用》中看到了与函数空间有关的内容，篇幅不长，思维方式很清晰，直观。看完就觉得这些概念也并不是那么神秘，都是能够理解的。
本文的目的是把有限维矩阵向量空间的思想，扩展到无限维向量空间。并以傅立叶级数为例讨论。

无限维向量空间

假设3*3矩阵A的列向量线性无关，则矩阵A的列向量构成$R^3$空间。现在将线性无关组的向量个数推广到无穷大，即$R^{\infty }$.

相关定义

对于$R^{\infty }$，需要有一定的限制条件，一个自然的想法是向量的长度为有限值。即
$$v=(v_1,v_2,v_3,...)$$
的长度，无穷级数：
$$||v|{|}^2=v_1^2+v_2^2+v_3^2+...$$
必须收敛于有限和。这类限制条件的无限维向量空间称为希尔伯特空间。
希尔伯特空间的垂直的定义仍然是内积和为0:
$$w^{T}v=w_1{v}_1+w_2{v}_2+w_3{v}_3+....=0$$

函数空间

将一个函数视作无限维的向量，这个特殊向量的分量就是函数沿着整个定义域区间的值。如：
$$f(x)=sinx,0⩽x\le 2\pi$$
类比一般向量长度的平方，可以视为向量的“面积”，那么函数向量的面积自然是积分。于是函数长度有：
$$||f|{|}^2={\int }_0^{2\pi }(sinx{)}^{2}dx={\int }_0^{2\pi }\frac{1-cos2x}{2}dx=\pi$$
那么对于函数$f,g$,函数内积为：
$$f^{T}g={\int }_a^{b}f(x)\cdot g(x)dx$$
如果内积为0,则称$f,g$正交。

傅立叶级数

傅立叶级数是一个关于cos和sin的展开式：
$$y(x)=a_0+a_{1}cosx+b_{1}sinx+a_{2}cos2x+b_{2}sin2x+...$$
项数的规律就是常数$a_0$,余弦项$b_{n}cosnx$,正弦项$a_{n}sinnx$.
以傅立叶的聪明才智，选取的分量之间应当是正交的。
$${\int }_0^{2\pi }sin(mx)cos(nx)dx=\frac{1}{2}{\int }_0^{2\pi }sin(mx+nx)+sin(mx-nx)dx=0$$
所以分量正交。
那么$y(x)$与$v_n=cos(nx)$的内积为：
$$y^T{v}_n=(a_0+b_1{v}_1+a_1{w}_1+b_2{v}_2+a_2{w}_2+...{)}^T{v}_n=a_0{v}_n+b_n{v}_n^T{v}_n=a_0{\int }_0^{2\pi }cos(nx)dx+b_n{\int }_0^{2\pi }cos(nx)cos(nx)dx=0+b_n\pi$$
所以某一分量$f$的系数为：
$$b=\frac{y^{T}f}{f^{T}f}$$
例如,$y(x)$在分量$sinx$上的投影为：
$$b1sinx$$
傅立叶级数恰给出向量y关于一组无限多个相互垂直的坐标轴的坐标。

其他函数空间

在$-1⩽x\le 1$上的多项式函数$f(x)=a_0+a_{1}x+a_2{x}^2$,
分量$a_0$,$x^2$的不是正交的。此时可以对$1,x,x^2$进行施密特正交化。
设$v_1=1,v_2=x$,此时求积分有有$v_1^T{v}_2=0$
再设$v_3=x^2+c_2{v}_2+c_1{v}_1=x^2+c_{2}x+c_1$
$v_3^T{v}_1={\int }_{-1}^1(x^2+c_{2}x+c_1)dx=\frac{2}{3}+2c_1=0$
$v_3^T{v}_2={\int }_{-1}^1(x^3+c_2{x}^2+c_{1}x)dx=\frac{2}{3}{c}_2=0$
所以
$v_3=x^2-\frac{1}{3}$
用这种方式构造出的多项式称为Legendre(勒让德)多项式，它们在$-1⩽x\le 1$正交。

函数拟合

举例：$0⩽x\le 1$上有$f(x)=x^{\frac{1}{2}}$,用直线$y=C+Dx$拟合$f(x)$.
$At=b=\left[\begin{array}{cc}1& x\end{array}\right]\left[\begin{array}{c}C\\ D\end{array}\right]=\left[\begin{array}{c}\sqrt{x}\end{array}\right]$
$A^T(At-b)=0$
$t=(A^{T}A{)}^{-1}{A}^{T}b$
注意计算方法不同于一般的矩阵：
矩阵运算法则不变，元素的点乘要化为积分形式。
$$A^{T}A=\left[\begin{array}{cc}{1}^{T}1& 1^{T}x\\ x^{T}1& x^{T}x\end{array}\right]=\left[\begin{array}{cc}1& \frac{1}{2}\\ \frac{1}{2}& \frac{1}{3}\end{array}\right]$$
$$t=\left[\begin{array}{c}\frac{4}{15}\\ \frac{4}{5}\end{array}\right]$$
函数图像如下