[人工智能-深度学习-29]：卷积神经网络CNN - 全连接网络与卷积网络结构的互为等效与性能比较

作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客

本文网址：https://blog.csdn.net/HiWangWenBing/article/details/120808864

---

目录

第1章 单个全连接神经元与卷积核神经元的结构比较

1.1 全连接神经元

1.2 卷积核神经元（多维模型）

第2章 全连接网络与卷积网络的结构比较

2.1 全连接网络

2.2 卷积核网络

2.3 卷积+全连接网络

第3章 全连接网络与卷积网络的性能比较

---

第1章 单个全连接神经元与卷积核神经元的结构比较

以第一个卷积层(28,28,64)和第一个全连接层1024为例。

1.1 全连接神经元

（1）一维向量模型

输入尺寸：       （X) = (640)

全连接神经元：（X) = (640)   # 与输入尺寸完全相同

输出尺寸：       （X)  =（1）  #  固定尺寸1

（2）等效的三维全连接模型

 输入尺寸：       （X, Y,  Z)     = (5, 5, 64)

全连接神经元： （X, Y,  Z)    =  (5, 5, 64） # 其尺寸与输入尺寸完全相同。

输出尺寸：        （X)              = 1                # 固定尺寸1，所有输入合并，所有通道合并

（3）等效的三维卷积核模型

输入尺寸：       （X, Y,  Z)     = (5, 5, 64)

卷积核神经元：（X, Y,  Z)    = (5,  5, 64)， # 卷积核尺寸与输入数据尺寸相同，64个通道被合并 

输出尺寸：       （X, Y)         = (1, 1)      # 固定尺寸1

此时，卷积就是全连接的三维立体模型 

1.2 卷积核神经元（多维模型）

输入尺寸：     （X, Y,  Z)  = (32, 32, 3)

卷积核神经元：(X, Y)      =  (5,   5,  3）       # 其尺寸远远小于输入尺寸, 3个通道被合并

输出尺寸：     （X, Y)     =  (28, 28)            # 由卷积核尺寸、输入尺寸、移动步长、填充尺寸调整。

第2章 全连接网络与卷积网络的结构比较

2.1 全连接网络

（1）一维向量模型

输入尺寸：        （X)       = (640)

单全连接神经元:（X)       = (640)             # 与输入尺寸完全相同

单神经元输出：   (X)        = (1)                 # 所有输入被合并成一路

全连接网络：      (X,   Y)  = (640, 1024)   # X维度与输入相同，Y维度与输出相同

输出尺寸：        （X)       = (1024)          # 尺寸与神经元的个数相同

（2）三维扩展模型

输入尺寸：        （X)       =  (5, 5, 64)

单全连接神经元:（X)       =  (5, 5, 64)    # 与输入尺寸完全相同

单神经元输出：   (X)        = (1)              # 所有输入合并，所有通道合并

全连接网络：      (X,   Y)  = (640, 1024)   # X维度与输入相同，Y维度与输出相同

输出尺寸：        （X)       = (1024)          # 尺寸与神经元的个数相同

（3）卷积等效网络

输入尺寸：          (X)       =  (5, 5, 64)

卷积核神经元:   （X)       =  (5, 5, 64)              # 与输入尺寸必须完全相同，步长为1

卷积核输出：       (X)        = (1, 1)                   # 64个通道被合并

卷积网络：          (X,  Y, Z)   = (5，5,  1024)   # X维度与输入相同，Y维度与输出相同

输出尺寸：        （X, Y)       = (1,   1,  1024)    # 尺寸与神经元的个数相同

备注：卷积网络要比全连接网络少很多倍的参数。

2.2 卷积核网络

输入尺寸：            （X,  Y,  Z)  = (32, 32, 3)

卷积核尺寸：         （X,  Y）    =  (2,   2, 3）

卷积核输出尺寸：  （X, Y）     =  (28, 28)        # 取决于迭代步长、卷积核尺寸，输入尺寸

卷积核网络尺寸:       (X, Y,  Z )  =  (2,   2,  64)   # 其中（n-X, n-Y) 远远小于（i-X,   i-Y），（n-Z)与输出支持相同

卷积网络输出尺寸: （X, Y, Z)   =  (28, 28, 64)  #取决于迭代步长、卷积核尺寸，输入尺寸, 卷积核个数

2.3 卷积+全连接网络

第3章 全连接网络与卷积网络的性能比较

比较	全连接网	卷积网络
拟合程度	容易过拟合	容易欠拟合
神经元参数个数	与输入数据尺寸一致	非常小，卷积核的大小
单个运算量	取决于输入数据的尺寸	取决于输出数据的尺寸
输入	一维特征向量	三维矩阵

---

作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客

本文网址：https://blog.csdn.net/HiWangWenBing/article/details/120808864