卷积

随着机器学习的逐渐升温，卷积神经网络这个专业词汇也越来越多地出现在我们眼前。卷积神经网络是一种前馈神经网络，包括一维、二维以及三维卷积神经网络。这篇文章我们先来学习了解一下卷积的概念。

在泛函分析中，卷积是通过两个函数x  和h  生成第三个函数的一种数学算子，表征函数x  与h  经过翻转和平移的重叠部分的面积。如果将参加卷积的一个函数看作区间的指示函数，卷积还可以被看作是“滑动平均”的推广。

卷积的符号表示是“*”，一般我们称 (n)=  (n)∗ (n)为 (n)与 (n)的卷积。首先我们先看看卷积公式，在连续信号系统中：

                                                                                                            公式1

但在离散信号系统中，卷积的公式表示为：

                                                                                                            公式2

在这个公式中， ( )代表信号与系统中的一个输入，或者一个刺激， ( )代表一个系统对单位输入信号或刺激的响应，y ( )代表在多次  的输入下，该系统的整体响应。由于累加和运算的计算量远小于积分运算，生活中信号处理多为处理采样过的离散信号。因此，本文的介绍偏重于离散信号卷积。下面我们用两个例子来进行说明。

假如小明的boss发现小明在工作过程中偷懒，于是对他罚款N元，这就相当于上述公式中的一个输入/刺激 。该公司的奖惩系统，随着时间的推移，罚款金额会逐渐减少。例如每隔一天，罚款金额减少一元，这就是上述公式中的奖惩系统 。小明在被罚款后的第N天，罚金就自动减少到0。但如果在此期间，小明再次偷懒犯错，老板就又会对他罚款，即 再次输入。因为之前的罚金还没有扣完，所以新的罚款会在此基础上继续增加。假设小明在月初被罚款N（N>30）元，他很不服气，于是第二天继续怠工，所以老板再次对小明进行惩罚；小明依然不服气，老板继续惩罚……这样持续了一个月，那么最终在月底进行罚款结算的时候，小明的罚款总额应该这么计算：第一天剩余罚款额（N-30*1）*1+ 第二天剩余罚款额（N-29*1）*1+第三天剩余罚款额（N-28*1）*1-... +第三十天剩余罚款额（N）*1。

这就是说，某一时刻的罚金总数等于之前很多次被罚的金额逐渐衰减后累加，可以通过卷积函数公式2计算任一时刻罚金总数。

接下来我们再以另外一个例子来进行解释，朋友聚会期间，我们可能会玩骰子游戏。骰子的数字区间为1~6，假设现在我们有两个骰子，我们来求一下两枚骰子点数加起来为4的概率是多少?

如图1所示，分别为两个骰子，第一个骰子我们以 来表示，其每个数字出现的概率我们也以 ( )来表示，这里很明显就能看出  的取值范围为1~6；第二个蓝色的骰子以 系统表示，同样以 ( )的形式表示每个数字出现的概率。

         图1 骰子点数

根据题目要求，我们将其点数和为4的所有情况表示出来。

以 系统即第一个骰子做主，当第一个骰子扔到点数为1时，此时第二个骰子如果要满足两个点数和为4，则必须为3，如图2所示，红色的骰子点数为满足此时题目要求的组合，这种情况下表示为 (1) (3)。

图2 x (1) h (3)概率表示

当第一个骰子扔到点数为2时，此时第2个骰子只能点数为2才能满足题目要求，如图3所示，该种情况下的概率表示为 (2) (2)。

图3  x (2) h (2)概率表示

当第一个骰子扔到点数为3时，此时第2个骰子只能点数为1才能满足题目要求，如图4所示，该种情况下的概率表示为 (3) (1)。

图4   x (3) h (1)概率表示

而当第一个骰子扔到点数为4时，第二个骰子只能扔0点才能满足要求，这种情况是不存在的。所以满足题目要求两个骰子和为4的情况只有以上3种。因此两枚骰子点数和为4的概率即：

                                                                                                                  公式3

根据公式，我们假设骰子1的点数为  时的概率定为 ( ),骰子2的点数为4- 的概率为h (4- ),这样我们对于这两个骰子的所有可能的结果进行累加求和，上面的公式进行整合之后，则变为了：

                                                                                                                         公式4

这也就是文章开头提到的公式2，即离散情况下的卷积表示。在这里我们可以将两个骰子看做一个系统，其中 作为输入信号， 则是该系统的响应。在两个骰子和必须为4的情况下，该系统的卷积即为 。

通过上述这两个例子，我们可以看出，卷积实际上就是对于多次响应的叠加。罚金系统中，类比离散的卷积公式，小明某一天的犯错次数作为输入 ( )（其中 代表日期），犯错后应缴的罚金则为 ( )，就是这个系统里的响应。因此最后某一时刻所有的罚金总额就是将每一次的罚金进行累加；骰子的例子中，我们可以把第一个骰子的点数作为输入，在此用 表示，则 ( )代表扔到该点数的概率。由于系统规定了两个骰子的和必须为4，所以，当第一个骰子点数产生之后，第二个骰子的点数实际也已经确定。在此我们称其为第一个骰子点数的响应，其概率我们用 ( )来表示。这样，将每一种点数分布的概率进行累加，就得出了两个骰子点数和为4的总概率，这也是一个卷积计算的过程。

参考文献

https://www.cnblogs.com/P3nguin/p/7777239.html

https://blog.csdn.net/bitcarmanlee/article/details/54729807

https://blog.csdn.net/tiandijun/article/details/40080823

https://blog.csdn.net/qq_39521554/article/details/79083864

https://blog.csdn.net/Einstellung/article/details/77395279

https://blog.csdn.net/VactivX/article/details/61427203

https://www.zhihu.com/question/22298352

https://blog.csdn.net/panda1234lee/article/details/8927244