神经网络（NN）复杂度

前言

本文中主要介绍神经网络（NN）中的复杂度，分别介绍时间复杂度、空间复杂度。过程会有概念介绍、分析、和如何计算等。

神经网络的复杂度，包括时间复杂度 和 空间复杂度。

 

空间复杂度

简介 

空间复杂度，包括两部分：总参数量 + 各层输出特征图。

总参数量：模型所有带参数的层的 权重参数+偏置 的总量；(总参数） 

特征图：模型在实时运行过程中每层所计算出的输出特征图大小（层数）

 

分析与计算

下面是一张神经网络的结构；其中输入层有3个特征，即有3个神经元组成；输出层是进行2分类（是或不是，买或不买），即有2个神经元。有2层的隐藏层，第一层隐藏层有5个神经元，第二层隐藏层有4个神经元。

通常把输入层和输出层之间的统称为隐藏层；

层数：我们统计神经网络层数时，只考虑有计算能力的层，即隐藏层+输出层；因为输入层只是把特征数据进行输入，并没有做运算。所以上图中有3层神经网络（NN）。

总参数：总权重 W + 总偏置 b

类别	第一层（隐藏层1）	第二层（隐藏层2）	第三层（输出层）	合计
权重 w	3 x 5	5 x 4	4 x 2	43（个）
偏置 b	5	4	2	11（个）
总参数	3 x 5 + 5	5 x 4  + 4	4 x 2  + 2	54（个）

分析：1）通常每个神经元对应一个偏置 b；例如：在第一层（隐藏层1）中，有5个神经元，对应有5个偏置 b。

2）权重 w 我们可以数前后两层的线条，比如在输入层和隐藏层1之间，共有3 x 5 = 15 条线；这种线条可以叫权重线。

即：在隐藏层1的第一个神经元对应3个权重 w，第二个神经元也对应3个权重 w，............，第五个神经元也对应3个权重 w，合计15个权重 w。

3）神经网络层中 每个神经元都有计算能力，会把前面神经元的输入乘上权重 w，再加上偏置 b；得到结果进行当前输出。

 

 

时间复杂度

简介

模型的运算次数，可用浮点运算次数或者乘加运算次数衡量；是浮点运算次数（FLoating-point OPerations）。

 

分析与计算

下面是一张神经网络的结构；其中输入层有3个特征，即有3个神经元组成；输出层是进行2分类（是或不是，买或不买），即有2个神经元。有2层的隐藏层，第一层隐藏层有5个神经元，第二层隐藏层有4个神经元。

这里的时间复杂度：乘加运算次数 表示：

类别	第一层（隐藏层1）	第二层（隐藏层2）	第三层（输出层）	合计
计算次数	3 x 5	5 x 4	4 x 2	43（次）

 

本博客参考：北京大学 课程“人工智能实践：Tensorflow笔记”；

本文是带大家入门，如果想深入分析可以参考：https://zhuanlan.zhihu.com/p/31575074

基于神经网络——鸢尾花识别（Iris）