从本质（信号分析角度）理解卷积

深度学习中的”卷积“是个怎么都绕不过去的话题，在此记录一下卷积相关的知识点，以供复习：
一切要回归基础与本质。

角度一：信号角度
角度二：图像处理角度

1. 信号处理

1.基本概念

1.1 时域和频域

• 时域和频域的概念

时域：时域是真实世界，是惟一实际存在的域。

频域：频域是一个遵循特定规则的数学范畴，频域也被一些学者称为上帝视角。

以信号为例，信号在时域下的图形可以显示信号如何随着时间变化，而信号在频域下的图形（一般称为频谱）可以显示信号分布在哪些频率及其比例。频域的表示法除了有各个频率下的大小外，也会有各个频率的相位，利用大小及相位的资讯可以将各频率的弦波给予不同的大小及相位，相加以后可以还原成原始的信号。

• 时域和频域的关系

时域分析与频域分析是对模拟信号的两个观察面。时域分析是以时间轴为坐标表示动态信号的关系；频域分析是把信号变为以频率轴为坐标表示出来。

• 时域和频域的转换

动态信号从时间域变换到频率域主要通过傅立叶级数和傅立叶变换实现。周期信号靠傅立叶级数，非周期信号靠傅立叶变换。时域越宽，频域越短。

1.2 正弦波

正弦波是频域中唯一存在的波形，这是频域中最重要的规则，即正弦波是对频域的描述，因为频域中的任何波形都可用正弦波合成。 这是正弦波的一个非常重要的性质。正弦波有四个性质使它可以有效地描述其他任一波形：
（1）频域中的任何波形都可以由正弦波的组合完全且惟一地描述。
（2）任何两个频率不同的正弦波都是正交的。如果将两个正弦波相乘并在整个时间轴上求积分，则积分值为零。这说明可以将不同的频率分量相互分离开。
（3）正弦波有精确的数学定义。
（4）正弦波及其微分值处处存在，没有上下边界。

2. 重要结论

“任何”周期信号都可以用一系列成谐波关系的正弦曲线来表示。(狄里赫利条件)

2. 变换

函数或信号可以透过一对数学的运算子在时域及频域之间转换。例如傅里叶变换可以将一个时域信号转换成在不同频率下对应的振幅及相位，其频谱就是时域信号在频域下的表现，而反傅里叶变换可以将频谱再转换回时域的信号。

傅里叶变换、拉普拉斯变换、Z 变换的本质与联系以及它们的用处是什么？

不论是进行拉普拉斯转换、Z转换或是傅立叶变换，其产生的频谱都是一个频率的复变函数，表示一个信号（或是系统的响应）的振幅及其相位。

• 傅里叶变换

（用处：将时域转为频域，用于对非周期信号转换）

• 傅里叶级数

（由来：把欧拉公式代入傅里叶变换，换汤不换药,无非就是多了个复数，用于对周期信号转换）

• 拉普拉斯变换

（傅里叶变换的公式乘以一个 衰减因子 ，以解决傅里叶变换无法解决的那些”想要上天“的不收敛函数，主要用于计算微分方程）

• Z 变换

（由来：傅里叶变换的离散形式——计算机上存储的数据是离散的，主要用于计算差分方程）

3. 卷积与滤波器

1. 核心观点

时域卷积=频域相乘
时域卷积=频域相乘
时域卷积=频域相乘

通俗解释：假设两个时域信号f1和f2『卷积』的结果是f3，则f3的频谱，是f1的频谱函数和f2的频谱函数，对应频率『相乘』的结果。

通俗理解：
假设时域信号f1和f2做卷积，从f1的角度看，它的频谱函数要跟f2对应的频谱函数相乘，而如果f1的某些频率分量，在f2上是没有的，那么相乘之后的结果是0，所以得到的f3信号，在这些频率上值为0，于是对f1而言，f2把它的某些分量『过滤』掉了，所以f2是『滤波器』，f1是原始信号，f3是过滤之后的信号。

2. 滤波器

滤波器是能过滤某些特定频段，留下需要信号的部件。
比如低通滤波器(只留下低频分量)、高通滤波器(只留下高频分量)、带通滤波器(只留下特定范围内的分量)。

3. 卷积

（一维）波形里的『棱角』其实是一种突变信号，它里面包含了很多高频分量

类比到二维，图像可以看成一个离散的二维函数f(x,y)，x 和 y 决定了图像的像素点，f是像素点在该处的取值。更形象地理解，图像就仿佛是一个『水池』，像素点就是『水分子』，像素点的取值大小，从视觉上看代表图像亮度的强弱，而类比到水池里，就是不同位置水分子的运动幅度，在水池里泛起涟漪。

一维函数的『傅里叶变换』是可以扩展到二维的，而卷积核本质上是一个二维函数，有对应的频谱函数，因而可以看成某种『滤波器』

沿用上面『水池』的类比，图像像素值变化陡峭的地方，反映在图像上，就是那块区域明暗变化明显，而类比到『水池』里，就是水波在该区域快速振动，『棱角』分明。所以：
当我们将图像跟『高通滤波器』做卷积时，明暗变化会被保留，而缓和的变化会被过滤。
反映到图像上，就是『锐化』效果，即图像的边缘被加强，大色块的背景被过滤。同理，跟低通滤波器做卷积，效果相反。

当我们把图像跟多种卷积核作用时，就能得到不同频段的信号，这也就是卷积神经网络中，『卷积层』的本质作用。也就是说，图像卷积的本质，是提取图像不同『频段』的特征。

4. 总结

卷积核 = 二维函数-滤波器
卷积层 = 运用卷积的层
卷积 = 数学操作 = 提取图像不同『频段』的特征

参考：

1. 傅里叶变换、拉普拉斯变换、Z 变换的联系是什么？为什么要进行这些变换？

2. [CV] 通俗理解『卷积』——从傅里叶变换到滤波器