诸神黄昏的幸存者
诸神黄昏的幸存者

ResNet与Densenet之间的关系以及区别

一、ResNet和DenseNet的之间的关系以及区别，如参数量和训练速度。

简单介绍下ResNet以及DenseNet

  • ResNet的最大的贡献是缓解深层的神经网络训练中的梯度消失问题，主要是利用shortcut的技术可以加深网络的深度而没有退化。反向传播时，梯度可能会在距离输入近的地方中产生消失的现象，既然离输入近的神经网络层较难训练，则可以将它短接到更加靠近输出的地方。因为直接映射是难以学习的，而ResNet学习的是残差，这是更容易学习的。shortcut的设计是将模块的输入和输出连接在一起，然后在元素层面上进行加（add），相当于跨过中间层，进行简单的同等映射，这样做不会产生额外的参数，不会增加计算的复杂度，而且保证至少加深后网络的性能不会比加深前差。

  • DenseNet主要是基于ResNet的shortcut的思想，不同的是采用的是一种更密集的连接方式，是一个密集卷积神经网络，以前向传播方式，将每一层与其余层密集连接。这样做的目的是可以确保各层之间的信息流动达到最大，将所有层（特征图大小匹配）直接连接在一起，注意这里是维度上相加（concat）。

  • 相对ResNet，DenseNet有以下几个显著特点：
    （1）更好地缓解了梯度消失问题
    （2）增强了特征在网络间的传播
    （3）实现和加强了特征重用
    （4）有效减少了参数数量

DenseNet参数比ResNet参数少的原因：

  1. 每一次卷积输入输出的chanenl个数要比ResNet少很多。
  2. 全连接层的参数也比ResNet少很多。

DenseNet训练速度比ResNet训练慢的原因：

  1. DenseNet的feature map比ResNet大很多，导致卷积过程的计算量比ResNet大很多，简而言之就是flops要大一些，内存的占用要大一些。
  2. 内存的访问次数要多很多，内存的访问是很慢的。因为DenseNet是一种密集的连接方式。每一层的输入是前面每一层的特征，因为每当进行新的一层计算，需要读取前面所有层，因此需要频繁读取内存。
附一下如何计算模型的参数量
from torchstat import stat
import torchvision

DenseNet = torchvision.models.densenet121()
stat(DenseNet, (3,244,244))

                                   module name   input shape  output shape     params memory(MB)             MAdd            Flops  MemRead(B)  MemWrite(B) duration[%]    MemR+W(B)
0                               features.conv0     3 244 244    64 122 122     9408.0       3.63    279,104,768.0    140,028,672.0    752064.0    3810304.0       3.20%    4562368.0
1                               features.norm0    64 122 122    64 122 122      128.0       3.63      3,810,304.0      1,905,152.0   3810816.0    3810304.0       0.80%    7621120.0
2                               features.relu0    64 122 122    64 122 122        0.0       3.63        952,576.0        952,576.0   3810304.0    3810304.0       0.00%    7620608.0
3                               features.pool0    64 122 122    64  61  61        0.0       0.91      1,905,152.0        952,576.0   3810304.0     952576.0       5.60%    4762880.0
4       features.denseblock1.denselayer1.norm1    64  61  61    64  61  61      128.0       0.91        952,576.0        476,288.0    953088.0     952576.0       0.00%    1905664.0
5       features.denseblock1.denselayer1.relu1    64  61  61    64  61  61        0.0       0.91        238,144.0        238,144.0    952576.0     952576.0       0.00%    1905152.0
6       features.denseblock1.denselayer1.conv1    64  61  61   128  61  61     8192.0       1.82     60,488,576.0     30,482,432.0    985344.0    1905152.0       0.80%    2890496.0
7       features.denseblock1.denselayer1.norm2   128  61  61   128  61  61      256.0       1.82      1,905,152.0        952,576.0   1906176.0    1905152.0       0.80%    3811328.0
8       features.denseblock1.denselayer1.relu2   128  61  61   128  61  61        0.0       1.82        476,288.0        476,288.0   1905152.0    1905152.0       0.00%    3810304.0
9       features.denseblock1.denselayer1.conv2   128  61  61    32  61  61    36864.0       0.45    274,222,816.0    137,170,944.0   2052608.0     476288.0       0.80%    2528896.0
10      features.denseblock1.denselayer2.norm1    96  61  61    96  61  61      192.0       1.36      1,428,864.0        714,432.0   1429632.0    1428864.0       0.00%    2858496.0
11      features.denseblock1.denselayer2.relu1    96  61  61    96  61  61        0.0       1.36        357,216.0        357,216.0   1428864.0    1428864.0       0.00%    2857728.0
12      features.denseblock1.denselayer2.conv1    96  61  61   128  61  61    12288.0       1.82     90,971,008.0     45,723,648.0   1478016.0    1905152.0       1.60%    3383168.0
13      features.denseblock1.denselayer2.norm2   128  61  61   128  61  61      256.0       1.82      1,905,152.0        952,576.0   1906176.0    1905152.0       0.00%    3811328.0
14      features.denseblock1.denselayer2.relu2   128  61  61   128  61  61        0.0       1.82        476,288.0        476,288.0   1905152.0    1905152.0       0.80%    3810304.0
15      features.denseblock1.denselayer2.conv2   128  61  61    32  61  61    36864.0       0.45    274,222,816.0    137,170,944.0   2052608.0     476288.0       0.80%    2528896.0
16      features.denseblock1.denselayer3.norm1   128  61  61   128  61  61      256.0       1.82      1,905,152.0        952,576.0   1906176.0    1905152.0       0.80%    3811328.0
17      features.denseblock1.denselayer3.relu1   128  61  61   128  61  61        0.0       1.82        476,288.0        476,288.0   1905152.0    1905152.0       0.00%    3810304.0
18      features.denseblock1.denselayer3.conv1   128  61  61   128  61  61    16384.0       1.82    121,453,440.0     60,964,864.0   1970688.0    1905152.0       1.60%    3875840.0
19      features.denseblock1.denselayer3.norm2   128  61  61   128  61  61      256.0       1.82      1,905,152.0        952,576.0   1906176.0    1905152.0       0.00%    3811328.0
20      features.denseblock1.denselayer3.relu2   128  61  61   128  61  61        0.0       1.82        476,288.0        476,288.0   1905152.0    1905152.0       0.80%    3810304.0
21      features.denseblock1.denselayer3.conv2   128  61  61    32  61  61    36864.0       0.45    274,222,816.0    137,170,944.0   2052608.0     476288.0       0.80%    2528896.0
22      features.denseblock1.denselayer4.norm1   160  61  61   160  61  61      320.0       2.27      2,381,440.0      1,190,720.0   2382720.0    2381440.0       0.00%    4764160.0
23      features.denseblock1.denselayer4.relu1   160  61  61   160  61  61        0.0       2.27        595,360.0        595,360.0   2381440.0    2381440.0       0.00%    4762880.0
24      features.denseblock1.denselayer4.conv1   160  61  61   128  61  61    20480.0       1.82    151,935,872.0     76,206,080.0   2463360.0    1905152.0       0.80%    4368512.0
25      features.denseblock1.denselayer4.norm2   128  61  61   128  61  61      256.0       1.82      1,905,152.0        952,576.0   1906176.0    1905152.0       0.80%    3811328.0
26      features.denseblock1.denselayer4.relu2   128  61  61   128  61  61        0.0       1.82        476,288.0        476,288.0   1905152.0    1905152.0       0.00%    3810304.0
27      features.denseblock1.denselayer4.conv2   128  61  61    32  61  61    36864.0       0.45    274,222,816.0    137,170,944.0   2052608.0     476288.0       0.80%    2528896.0
28      features.denseblock1.denselayer5.norm1   192  61  61   192  61  61      384.0       2.73      2,857,728.0      1,428,864.0   2859264.0    2857728.0       0.80%    5716992.0
29      features.denseblock1.denselayer5.relu1   192  61  61   192  61  61        0.0       2.73        714,432.0        714,432.0   2857728.0    2857728.0       0.80%    5715456.0
30      features.denseblock1.denselayer5.conv1   192  61  61   128  61  61    24576.0       1.82    182,418,304.0     91,447,296.0   2956032.0    1905152.0       1.60%    4861184.0
31      features.denseblock1.denselayer5.norm2   128  61  61   128  61  61      256.0       1.82      1,905,152.0        952,576.0   1906176.0    1905152.0       0.00%    3811328.0
32      features.denseblock1.denselayer5.relu2   128  61  61   128  61  61        0.0       1.82        476,288.0        476,288.0   1905152.0    1905152.0       0.80%    3810304.0
33      features.denseblock1.denselayer5.conv2   128  61  61    32  61  61    36864.0       0.45    274,222,816.0    137,170,944.0   2052608.0     476288.0       0.80%    2528896.0
34      features.denseblock1.denselayer6.norm1   224  61  61   224  61  61      448.0       3.18      3,334,016.0      1,667,008.0   3335808.0    3334016.0       0.80%    6669824.0
35      features.denseblock1.denselayer6.relu1   224  61  61   224  61  61        0.0       3.18        833,504.0        833,504.0   3334016.0    3334016.0       0.80%    6668032.0
36      features.denseblock1.denselayer6.conv1   224  61  61   128  61  61    28672.0       1.82    212,900,736.0    106,688,512.0   3448704.0    1905152.0       1.60%    5353856.0
37      features.denseblock1.denselayer6.norm2   128  61  61   128  61  61      256.0       1.82      1,905,152.0        952,576.0   1906176.0    1905152.0       0.80%    3811328.0
38      features.denseblock1.denselayer6.relu2   128  61  61   128  61  61        0.0       1.82        476,288.0        476,288.0   1905152.0    1905152.0       0.00%    3810304.0
39      features.denseblock1.denselayer6.conv2   128  61  61    32  61  61    36864.0       0.45    274,222,816.0    137,170,944.0   2052608.0     476288.0       1.60%    2528896.0
40                   features.transition1.norm   256  61  61   256  61  61      512.0       3.63      3,810,304.0      1,905,152.0   3812352.0    3810304.0       0.80%    7622656.0
41                   features.transition1.relu   256  61  61   256  61  61        0.0       3.63        952,576.0        952,576.0   3810304.0    3810304.0       0.00%    7620608.0
42                   features.transition1.conv   256  61  61   128  61  61    32768.0       1.82    243,383,168.0    121,929,728.0   3941376.0    1905152.0       2.40%    5846528.0
43                   features.transition1.pool   128  61  61   128  30  30        0.0       0.44        460,800.0        476,288.0   1905152.0     460800.0       1.60%    2365952.0
44      features.denseblock2.denselayer1.norm1   128  30  30   128  30  30      256.0       0.44        460,800.0        230,400.0    461824.0     460800.0       0.00%     922624.0
45      features.denseblock2.denselayer1.relu1   128  30  30   128  30  30        0.0       0.44        115,200.0        115,200.0    460800.0     460800.0       0.00%     921600.0
46      features.denseblock2.denselayer1.conv1   128  30  30   128  30  30    16384.0       0.44     29,376,000.0     14,745,600.0    526336.0     460800.0       0.80%     987136.0
47      features.denseblock2.denselayer1.norm2   128  30  30   128  30  30      256.0       0.44        460,800.0        230,400.0    461824.0     460800.0       0.00%     922624.0
48      features.denseblock2.denselayer1.relu2   128  30  30   128  30  30        0.0       0.44        115,200.0        115,200.0    460800.0     460800.0       0.00%     921600.0
49      features.denseblock2.denselayer1.conv2   128  30  30    32  30  30    36864.0       0.11     66,326,400.0     33,177,600.0    608256.0     115200.0       0.80%     723456.0
50      features.denseblock2.denselayer2.norm1   160  30  30   160  30  30      320.0       0.55        576,000.0        288,000.0    577280.0     576000.0       0.00%    1153280.0
51      features.denseblock2.denselayer2.relu1   160  30  30   160  30  30        0.0       0.55        144,000.0        144,000.0    576000.0     576000.0       0.00%    1152000.0
52      features.denseblock2.denselayer2.conv1   160  30  30   128  30  30    20480.0       0.44     36,748,800.0     18,432,000.0    657920.0     460800.0       0.00%    1118720.0
53      features.denseblock2.denselayer2.norm2   128  30  30   128  30  30      256.0       0.44        460,800.0        230,400.0    461824.0     460800.0       0.00%     922624.0
54      features.denseblock2.denselayer2.relu2   128  30  30   128  30  30        0.0       0.44        115,200.0        115,200.0    460800.0     460800.0       0.80%     921600.0
55      features.denseblock2.denselayer2.conv2   128  30  30    32  30  30    36864.0       0.11     66,326,400.0     33,177,600.0    608256.0     115200.0       0.00%     723456.0
56      features.denseblock2.denselayer3.norm1   192  30  30   192  30  30      384.0       0.66        691,200.0        345,600.0    692736.0     691200.0       0.80%    1383936.0
57      features.denseblock2.denselayer3.relu1   192  30  30   192  30  30        0.0       0.66        172,800.0        172,800.0    691200.0     691200.0       0.00%    1382400.0
58      features.denseblock2.denselayer3.conv1   192  30  30   128  30  30    24576.0       0.44     44,121,600.0     22,118,400.0    789504.0     460800.0       0.00%    1250304.0
59      features.denseblock2.denselayer3.norm2   128  30  30   128  30  30      256.0       0.44        460,800.0        230,400.0    461824.0     460800.0       0.80%     922624.0
60      features.denseblock2.denselayer3.relu2   128  30  30   128  30  30        0.0       0.44        115,200.0        115,200.0    460800.0     460800.0       0.00%     921600.0
61      features.denseblock2.denselayer3.conv2   128  30  30    32  30  30    36864.0       0.11     66,326,400.0     33,177,600.0    608256.0     115200.0       0.00%     723456.0
62      features.denseblock2.denselayer4.norm1   224  30  30   224  30  30      448.0       0.77        806,400.0        403,200.0    808192.0     806400.0       0.80%    1614592.0
63      features.denseblock2.denselayer4.relu1   224  30  30   224  30  30        0.0       0.77        201,600.0        201,600.0    806400.0     806400.0       0.00%    1612800.0
64      features.denseblock2.denselayer4.conv1   224  30  30   128  30  30    28672.0       0.44     51,494,400.0     25,804,800.0    921088.0     460800.0       0.80%    1381888.0
65      features.denseblock2.denselayer4.norm2   128  30  30   128  30  30      256.0       0.44        460,800.0        230,400.0    461824.0     460800.0       0.00%     922624.0
66      features.denseblock2.denselayer4.relu2   128  30  30   128  30  30        0.0       0.44        115,200.0        115,200.0    460800.0     460800.0       0.00%     921600.0
67      features.denseblock2.denselayer4.conv2   128  30  30    32  30  30    36864.0       0.11     66,326,400.0     33,177,600.0    608256.0     115200.0       0.00%     723456.0
68      features.denseblock2.denselayer5.norm1   256  30  30   256  30  30      512.0       0.88        921,600.0        460,800.0    923648.0     921600.0       0.00%    1845248.0
69      features.denseblock2.denselayer5.relu1   256  30  30   256  30  30        0.0       0.88        230,400.0        230,400.0    921600.0     921600.0       0.00%    1843200.0
70      features.denseblock2.denselayer5.conv1   256  30  30   128  30  30    32768.0       0.44     58,867,200.0     29,491,200.0   1052672.0     460800.0       0.00%    1513472.0
71      features.denseblock2.denselayer5.norm2   128  30  30   128  30  30      256.0       0.44        460,800.0        230,400.0    461824.0     460800.0       0.00%     922624.0
72      features.denseblock2.denselayer5.relu2   128  30  30   128  30  30        0.0       0.44        115,200.0        115,200.0    460800.0     460800.0       0.80%     921600.0
73      features.denseblock2.denselayer5.conv2   128  30  30    32  30  30    36864.0       0.11     66,326,400.0     33,177,600.0    608256.0     115200.0       0.00%     723456.0
74      features.denseblock2.denselayer6.norm1   288  30  30   288  30  30      576.0       0.99      1,036,800.0        518,400.0   1039104.0    1036800.0       0.80%    2075904.0
75      features.denseblock2.denselayer6.relu1   288  30  30   288  30  30        0.0       0.99        259,200.0        259,200.0   1036800.0    1036800.0       0.00%    2073600.0
76      features.denseblock2.denselayer6.conv1   288  30  30   128  30  30    36864.0       0.44     66,240,000.0     33,177,600.0   1184256.0     460800.0       0.80%    1645056.0
77      features.denseblock2.denselayer6.norm2   128  30  30   128  30  30      256.0       0.44        460,800.0        230,400.0    461824.0     460800.0       0.00%     922624.0
78      features.denseblock2.denselayer6.relu2   128  30  30   128  30  30        0.0       0.44        115,200.0        115,200.0    460800.0     460800.0       0.00%     921600.0
79      features.denseblock2.denselayer6.conv2   128  30  30    32  30  30    36864.0       0.11     66,326,400.0     33,177,600.0    608256.0     115200.0       0.80%     723456.0
80      features.denseblock2.denselayer7.norm1   320  30  30   320  30  30      640.0       1.10      1,152,000.0        576,000.0   1154560.0    1152000.0       0.00%    2306560.0
81      features.denseblock2.denselayer7.relu1   320  30  30   320  30  30        0.0       1.10        288,000.0        288,000.0   1152000.0    1152000.0       0.00%    2304000.0
82      features.denseblock2.denselayer7.conv1   320  30  30   128  30  30    40960.0       0.44     73,612,800.0     36,864,000.0   1315840.0     460800.0       0.00%    1776640.0
83      features.denseblock2.denselayer7.norm2   128  30  30   128  30  30      256.0       0.44        460,800.0        230,400.0    461824.0     460800.0       0.00%     922624.0
84      features.denseblock2.denselayer7.relu2   128  30  30   128  30  30        0.0       0.44        115,200.0        115,200.0    460800.0     460800.0       0.00%     921600.0
85      features.denseblock2.denselayer7.conv2   128  30  30    32  30  30    36864.0       0.11     66,326,400.0     33,177,600.0    608256.0     115200.0       0.00%     723456.0
86      features.denseblock2.denselayer8.norm1   352  30  30   352  30  30      704.0       1.21      1,267,200.0        633,600.0   1270016.0    1267200.0       0.00%    2537216.0
87      features.denseblock2.denselayer8.relu1   352  30  30   352  30  30        0.0       1.21        316,800.0        316,800.0   1267200.0    1267200.0       0.00%    2534400.0
88      features.denseblock2.denselayer8.conv1   352  30  30   128  30  30    45056.0       0.44     80,985,600.0     40,550,400.0   1447424.0     460800.0       0.80%    1908224.0
89      features.denseblock2.denselayer8.norm2   128  30  30   128  30  30      256.0       0.44        460,800.0        230,400.0    461824.0     460800.0       0.00%     922624.0
90      features.denseblock2.denselayer8.relu2   128  30  30   128  30  30        0.0       0.44        115,200.0        115,200.0    460800.0     460800.0       0.80%     921600.0
91      features.denseblock2.denselayer8.conv2   128  30  30    32  30  30    36864.0       0.11     66,326,400.0     33,177,600.0    608256.0     115200.0       0.00%     723456.0
92      features.denseblock2.denselayer9.norm1   384  30  30   384  30  30      768.0       1.32      1,382,400.0        691,200.0   1385472.0    1382400.0       0.80%    2767872.0
93      features.denseblock2.denselayer9.relu1   384  30  30   384  30  30        0.0       1.32        345,600.0        345,600.0   1382400.0    1382400.0       0.00%    2764800.0
94      features.denseblock2.denselayer9.conv1   384  30  30   128  30  30    49152.0       0.44     88,358,400.0     44,236,800.0   1579008.0     460800.0       0.80%    2039808.0
95      features.denseblock2.denselayer9.norm2   128  30  30   128  30  30      256.0       0.44        460,800.0        230,400.0    461824.0     460800.0       0.00%     922624.0
96      features.denseblock2.denselayer9.relu2   128  30  30   128  30  30        0.0       0.44        115,200.0        115,200.0    460800.0     460800.0       0.00%     921600.0
97      features.denseblock2.denselayer9.conv2   128  30  30    32  30  30    36864.0       0.11     66,326,400.0     33,177,600.0    608256.0     115200.0       0.80%     723456.0
98     features.denseblock2.denselayer10.norm1   416  30  30   416  30  30      832.0       1.43      1,497,600.0        748,800.0   1500928.0    1497600.0       0.80%    2998528.0
99     features.denseblock2.denselayer10.relu1   416  30  30   416  30  30        0.0       1.43        374,400.0        374,400.0   1497600.0    1497600.0       0.00%    2995200.0
100    features.denseblock2.denselayer10.conv1   416  30  30   128  30  30    53248.0       0.44     95,731,200.0     47,923,200.0   1710592.0     460800.0       0.80%    2171392.0
101    features.denseblock2.denselayer10.norm2   128  30  30   128  30  30      256.0       0.44        460,800.0        230,400.0    461824.0     460800.0       0.00%     922624.0
102    features.denseblock2.denselayer10.relu2   128  30  30   128  30  30        0.0       0.44        115,200.0        115,200.0    460800.0     460800.0       0.00%     921600.0
103    features.denseblock2.denselayer10.conv2   128  30  30    32  30  30    36864.0       0.11     66,326,400.0     33,177,600.0    608256.0     115200.0       0.80%     723456.0
104    features.denseblock2.denselayer11.norm1   448  30  30   448  30  30      896.0       1.54      1,612,800.0        806,400.0   1616384.0    1612800.0       0.00%    3229184.0
105    features.denseblock2.denselayer11.relu1   448  30  30   448  30  30        0.0       1.54        403,200.0        403,200.0   1612800.0    1612800.0       0.00%    3225600.0
106    features.denseblock2.denselayer11.conv1   448  30  30   128  30  30    57344.0       0.44    103,104,000.0     51,609,600.0   1842176.0     460800.0       0.80%    2302976.0
107    features.denseblock2.denselayer11.norm2   128  30  30   128  30  30      256.0       0.44        460,800.0        230,400.0    461824.0     460800.0       0.80%     922624.0
108    features.denseblock2.denselayer11.relu2   128  30  30   128  30  30        0.0       0.44        115,200.0        115,200.0    460800.0     460800.0       0.00%     921600.0
109    features.denseblock2.denselayer11.conv2   128  30  30    32  30  30    36864.0       0.11     66,326,400.0     33,177,600.0    608256.0     115200.0       0.00%     723456.0
110    features.denseblock2.denselayer12.norm1   480  30  30   480  30  30      960.0       1.65      1,728,000.0        864,000.0   1731840.0    1728000.0       0.00%    3459840.0
111    features.denseblock2.denselayer12.relu1   480  30  30   480  30  30        0.0       1.65        432,000.0        432,000.0   1728000.0    1728000.0       0.80%    3456000.0
112    features.denseblock2.denselayer12.conv1   480  30  30   128  30  30    61440.0       0.44    110,476,800.0     55,296,000.0   1973760.0     460800.0       0.80%    2434560.0
113    features.denseblock2.denselayer12.norm2   128  30  30   128  30  30      256.0       0.44        460,800.0        230,400.0    461824.0     460800.0       0.00%     922624.0
114    features.denseblock2.denselayer12.relu2   128  30  30   128  30  30        0.0       0.44        115,200.0        115,200.0    460800.0     460800.0       0.00%     921600.0
115    features.denseblock2.denselayer12.conv2   128  30  30    32  30  30    36864.0       0.11     66,326,400.0     33,177,600.0    608256.0     115200.0       0.00%     723456.0
116                  features.transition2.norm   512  30  30   512  30  30     1024.0       1.76      1,843,200.0        921,600.0   1847296.0    1843200.0       0.00%    3690496.0
117                  features.transition2.relu   512  30  30   512  30  30        0.0       1.76        460,800.0        460,800.0   1843200.0    1843200.0       0.00%    3686400.0
118                  features.transition2.conv   512  30  30   256  30  30   131072.0       0.88    235,699,200.0    117,964,800.0   2367488.0     921600.0       0.80%    3289088.0
119                  features.transition2.pool   256  30  30   256  15  15        0.0       0.22        230,400.0        230,400.0    921600.0     230400.0       0.00%    1152000.0
120     features.denseblock3.denselayer1.norm1   256  15  15   256  15  15      512.0       0.22        230,400.0        115,200.0    232448.0     230400.0       0.00%     462848.0
121     features.denseblock3.denselayer1.relu1   256  15  15   256  15  15        0.0       0.22         57,600.0         57,600.0    230400.0     230400.0       0.00%     460800.0
122     features.denseblock3.denselayer1.conv1   256  15  15   128  15  15    32768.0       0.11     14,716,800.0      7,372,800.0    361472.0     115200.0       0.00%     476672.0
123     features.denseblock3.denselayer1.norm2   128  15  15   128  15  15      256.0       0.11        115,200.0         57,600.0    116224.0     115200.0       0.00%     231424.0
124     features.denseblock3.denselayer1.relu2   128  15  15   128  15  15        0.0       0.11         28,800.0         28,800.0    115200.0     115200.0       0.00%     230400.0
125     features.denseblock3.denselayer1.conv2   128  15  15    32  15  15    36864.0       0.03     16,581,600.0      8,294,400.0    262656.0      28800.0       0.00%     291456.0
126     features.denseblock3.denselayer2.norm1   288  15  15   288  15  15      576.0       0.25        259,200.0        129,600.0    261504.0     259200.0       0.80%     520704.0
127     features.denseblock3.denselayer2.relu1   288  15  15   288  15  15        0.0       0.25         64,800.0         64,800.0    259200.0     259200.0       0.00%     518400.0
128     features.denseblock3.denselayer2.conv1   288  15  15   128  15  15    36864.0       0.11     16,560,000.0      8,294,400.0    406656.0     115200.0       0.00%     521856.0
129     features.denseblock3.denselayer2.norm2   128  15  15   128  15  15      256.0       0.11        115,200.0         57,600.0    116224.0     115200.0       0.00%     231424.0
130     features.denseblock3.denselayer2.relu2   128  15  15   128  15  15        0.0       0.11         28,800.0         28,800.0    115200.0     115200.0       0.00%     230400.0
131     features.denseblock3.denselayer2.conv2   128  15  15    32  15  15    36864.0       0.03     16,581,600.0      8,294,400.0    262656.0      28800.0       0.80%     291456.0
132     features.denseblock3.denselayer3.norm1   320  15  15   320  15  15      640.0       0.27        288,000.0        144,000.0    290560.0     288000.0       0.00%     578560.0
133     features.denseblock3.denselayer3.relu1   320  15  15   320  15  15        0.0       0.27         72,000.0         72,000.0    288000.0     288000.0       0.00%     576000.0
134     features.denseblock3.denselayer3.conv1   320  15  15   128  15  15    40960.0       0.11     18,403,200.0      9,216,000.0    451840.0     115200.0       0.80%     567040.0
135     features.denseblock3.denselayer3.norm2   128  15  15   128  15  15      256.0       0.11        115,200.0         57,600.0    116224.0     115200.0       0.00%     231424.0
136     features.denseblock3.denselayer3.relu2   128  15  15   128  15  15        0.0       0.11         28,800.0         28,800.0    115200.0     115200.0       0.00%     230400.0
137     features.denseblock3.denselayer3.conv2   128  15  15    32  15  15    36864.0       0.03     16,581,600.0      8,294,400.0    262656.0      28800.0       0.00%     291456.0
138     features.denseblock3.denselayer4.norm1   352  15  15   352  15  15      704.0       0.30        316,800.0        158,400.0    319616.0     316800.0       0.00%     636416.0
139     features.denseblock3.denselayer4.relu1   352  15  15   352  15  15        0.0       0.30         79,200.0         79,200.0    316800.0     316800.0       0.00%     633600.0
140     features.denseblock3.denselayer4.conv1   352  15  15   128  15  15    45056.0       0.11     20,246,400.0     10,137,600.0    497024.0     115200.0       0.00%     612224.0
141     features.denseblock3.denselayer4.norm2   128  15  15   128  15  15      256.0       0.11        115,200.0         57,600.0    116224.0     115200.0       0.00%     231424.0
142     features.denseblock3.denselayer4.relu2   128  15  15   128  15  15        0.0       0.11         28,800.0         28,800.0    115200.0     115200.0       0.00%     230400.0
143     features.denseblock3.denselayer4.conv2   128  15  15    32  15  15    36864.0       0.03     16,581,600.0      8,294,400.0    262656.0      28800.0       0.80%     291456.0
144     features.denseblock3.denselayer5.norm1   384  15  15   384  15  15      768.0       0.33        345,600.0        172,800.0    348672.0     345600.0       0.00%     694272.0
145     features.denseblock3.denselayer5.relu1   384  15  15   384  15  15        0.0       0.33         86,400.0         86,400.0    345600.0     345600.0       0.00%     691200.0
146     features.denseblock3.denselayer5.conv1   384  15  15   128  15  15    49152.0       0.11     22,089,600.0     11,059,200.0    542208.0     115200.0       0.80%     657408.0
147     features.denseblock3.denselayer5.norm2   128  15  15   128  15  15      256.0       0.11        115,200.0         57,600.0    116224.0     115200.0       0.00%     231424.0
148     features.denseblock3.denselayer5.relu2   128  15  15   128  15  15        0.0       0.11         28,800.0         28,800.0    115200.0     115200.0       0.00%     230400.0
149     features.denseblock3.denselayer5.conv2   128  15  15    32  15  15    36864.0       0.03     16,581,600.0      8,294,400.0    262656.0      28800.0       0.00%     291456.0
150     features.denseblock3.denselayer6.norm1   416  15  15   416  15  15      832.0       0.36        374,400.0        187,200.0    377728.0     374400.0       0.00%     752128.0
151     features.denseblock3.denselayer6.relu1   416  15  15   416  15  15        0.0       0.36         93,600.0         93,600.0    374400.0     374400.0       0.00%     748800.0
152     features.denseblock3.denselayer6.conv1   416  15  15   128  15  15    53248.0       0.11     23,932,800.0     11,980,800.0    587392.0     115200.0       0.00%     702592.0
153     features.denseblock3.denselayer6.norm2   128  15  15   128  15  15      256.0       0.11        115,200.0         57,600.0    116224.0     115200.0       0.00%     231424.0
154     features.denseblock3.denselayer6.relu2   128  15  15   128  15  15        0.0       0.11         28,800.0         28,800.0    115200.0     115200.0       0.00%     230400.0
155     features.denseblock3.denselayer6.conv2   128  15  15    32  15  15    36864.0       0.03     16,581,600.0      8,294,400.0    262656.0      28800.0       0.00%     291456.0
156     features.denseblock3.denselayer7.norm1   448  15  15   448  15  15      896.0       0.38        403,200.0        201,600.0    406784.0     403200.0       0.80%     809984.0
157     features.denseblock3.denselayer7.relu1   448  15  15   448  15  15        0.0       0.38        100,800.0        100,800.0    403200.0     403200.0       0.00%     806400.0
158     features.denseblock3.denselayer7.conv1   448  15  15   128  15  15    57344.0       0.11     25,776,000.0     12,902,400.0    632576.0     115200.0       0.00%     747776.0
159     features.denseblock3.denselayer7.norm2   128  15  15   128  15  15      256.0       0.11        115,200.0         57,600.0    116224.0     115200.0       0.00%     231424.0
160     features.denseblock3.denselayer7.relu2   128  15  15   128  15  15        0.0       0.11         28,800.0         28,800.0    115200.0     115200.0       0.00%     230400.0
161     features.denseblock3.denselayer7.conv2   128  15  15    32  15  15    36864.0       0.03     16,581,600.0      8,294,400.0    262656.0      28800.0       0.00%     291456.0
162     features.denseblock3.denselayer8.norm1   480  15  15   480  15  15      960.0       0.41        432,000.0        216,000.0    435840.0     432000.0       0.80%     867840.0
163     features.denseblock3.denselayer8.relu1   480  15  15   480  15  15        0.0       0.41        108,000.0        108,000.0    432000.0     432000.0       0.00%     864000.0
164     features.denseblock3.denselayer8.conv1   480  15  15   128  15  15    61440.0       0.11     27,619,200.0     13,824,000.0    677760.0     115200.0       0.00%     792960.0
165     features.denseblock3.denselayer8.norm2   128  15  15   128  15  15      256.0       0.11        115,200.0         57,600.0    116224.0     115200.0       0.00%     231424.0
166     features.denseblock3.denselayer8.relu2   128  15  15   128  15  15        0.0       0.11         28,800.0         28,800.0    115200.0     115200.0       0.00%     230400.0
167     features.denseblock3.denselayer8.conv2   128  15  15    32  15  15    36864.0       0.03     16,581,600.0      8,294,400.0    262656.0      28800.0       0.00%     291456.0
168     features.denseblock3.denselayer9.norm1   512  15  15   512  15  15     1024.0       0.44        460,800.0        230,400.0    464896.0     460800.0       0.00%     925696.0
169     features.denseblock3.denselayer9.relu1   512  15  15   512  15  15        0.0       0.44        115,200.0        115,200.0    460800.0     460800.0       0.80%     921600.0
170     features.denseblock3.denselayer9.conv1   512  15  15   128  15  15    65536.0       0.11     29,462,400.0     14,745,600.0    722944.0     115200.0       0.00%     838144.0
171     features.denseblock3.denselayer9.norm2   128  15  15   128  15  15      256.0       0.11        115,200.0         57,600.0    116224.0     115200.0       0.00%     231424.0
172     features.denseblock3.denselayer9.relu2   128  15  15   128  15  15        0.0       0.11         28,800.0         28,800.0    115200.0     115200.0       0.80%     230400.0
173     features.denseblock3.denselayer9.conv2   128  15  15    32  15  15    36864.0       0.03     16,581,600.0      8,294,400.0    262656.0      28800.0       0.00%     291456.0
174    features.denseblock3.denselayer10.norm1   544  15  15   544  15  15     1088.0       0.47        489,600.0        244,800.0    493952.0     489600.0       0.00%     983552.0
175    features.denseblock3.denselayer10.relu1   544  15  15   544  15  15        0.0       0.47        122,400.0        122,400.0    489600.0     489600.0       0.00%     979200.0
176    features.denseblock3.denselayer10.conv1   544  15  15   128  15  15    69632.0       0.11     31,305,600.0     15,667,200.0    768128.0     115200.0       0.00%     883328.0
177    features.denseblock3.denselayer10.norm2   128  15  15   128  15  15      256.0       0.11        115,200.0         57,600.0    116224.0     115200.0       0.00%     231424.0
178    features.denseblock3.denselayer10.relu2   128  15  15   128  15  15        0.0       0.11         28,800.0         28,800.0    115200.0     115200.0       0.00%     230400.0
179    features.denseblock3.denselayer10.conv2   128  15  15    32  15  15    36864.0       0.03     16,581,600.0      8,294,400.0    262656.0      28800.0       0.00%     291456.0
180    features.denseblock3.denselayer11.norm1   576  15  15   576  15  15     1152.0       0.49        518,400.0        259,200.0    523008.0     518400.0       0.00%    1041408.0
181    features.denseblock3.denselayer11.relu1   576  15  15   576  15  15        0.0       0.49        129,600.0        129,600.0    518400.0     518400.0       0.00%    1036800.0
182    features.denseblock3.denselayer11.conv1   576  15  15   128  15  15    73728.0       0.11     33,148,800.0     16,588,800.0    813312.0     115200.0       0.00%     928512.0
183    features.denseblock3.denselayer11.norm2   128  15  15   128  15  15      256.0       0.11        115,200.0         57,600.0    116224.0     115200.0       0.00%     231424.0
184    features.denseblock3.denselayer11.relu2   128  15  15   128  15  15        0.0       0.11         28,800.0         28,800.0    115200.0     115200.0       0.00%     230400.0
185    features.denseblock3.denselayer11.conv2   128  15  15    32  15  15    36864.0       0.03     16,581,600.0      8,294,400.0    262656.0      28800.0       0.00%     291456.0
186    features.denseblock3.denselayer12.norm1   608  15  15   608  15  15     1216.0       0.52        547,200.0        273,600.0    552064.0     547200.0       0.80%    1099264.0
187    features.denseblock3.denselayer12.relu1   608  15  15   608  15  15        0.0       0.52        136,800.0        136,800.0    547200.0     547200.0       0.00%    1094400.0
188    features.denseblock3.denselayer12.conv1   608  15  15   128  15  15    77824.0       0.11     34,992,000.0     17,510,400.0    858496.0     115200.0       0.00%     973696.0
189    features.denseblock3.denselayer12.norm2   128  15  15   128  15  15      256.0       0.11        115,200.0         57,600.0    116224.0     115200.0       0.80%     231424.0
190    features.denseblock3.denselayer12.relu2   128  15  15   128  15  15        0.0       0.11         28,800.0         28,800.0    115200.0     115200.0       0.00%     230400.0
191    features.denseblock3.denselayer12.conv2   128  15  15    32  15  15    36864.0       0.03     16,581,600.0      8,294,400.0    262656.0      28800.0       0.00%     291456.0
192    features.denseblock3.denselayer13.norm1   640  15  15   640  15  15     1280.0       0.55        576,000.0        288,000.0    581120.0     576000.0       0.80%    1157120.0
193    features.denseblock3.denselayer13.relu1   640  15  15   640  15  15        0.0       0.55        144,000.0        144,000.0    576000.0     576000.0       0.00%    1152000.0
194    features.denseblock3.denselayer13.conv1   640  15  15   128  15  15    81920.0       0.11     36,835,200.0     18,432,000.0    903680.0     115200.0       0.00%    1018880.0
195    features.denseblock3.denselayer13.norm2   128  15  15   128  15  15      256.0       0.11        115,200.0         57,600.0    116224.0     115200.0       0.00%     231424.0
196    features.denseblock3.denselayer13.relu2   128  15  15   128  15  15        0.0       0.11         28,800.0         28,800.0    115200.0     115200.0       0.00%     230400.0
197    features.denseblock3.denselayer13.conv2   128  15  15    32  15  15    36864.0       0.03     16,581,600.0      8,294,400.0    262656.0      28800.0       0.00%     291456.0
198    features.denseblock3.denselayer14.norm1   672  15  15   672  15  15     1344.0       0.58        604,800.0        302,400.0    610176.0     604800.0       0.00%    1214976.0
199    features.denseblock3.denselayer14.relu1   672  15  15   672  15  15        0.0       0.58        151,200.0        151,200.0    604800.0     604800.0       0.80%    1209600.0
200    features.denseblock3.denselayer14.conv1   672  15  15   128  15  15    86016.0       0.11     38,678,400.0     19,353,600.0    948864.0     115200.0       0.00%    1064064.0
201    features.denseblock3.denselayer14.norm2   128  15  15   128  15  15      256.0       0.11        115,200.0         57,600.0    116224.0     115200.0       0.80%     231424.0
202    features.denseblock3.denselayer14.relu2   128  15  15   128  15  15        0.0       0.11         28,800.0         28,800.0    115200.0     115200.0       0.00%     230400.0
203    features.denseblock3.denselayer14.conv2   128  15  15    32  15  15    36864.0       0.03     16,581,600.0      8,294,400.0    262656.0      28800.0       0.00%     291456.0
204    features.denseblock3.denselayer15.norm1   704  15  15   704  15  15     1408.0       0.60        633,600.0        316,800.0    639232.0     633600.0       0.80%    1272832.0
205    features.denseblock3.denselayer15.relu1   704  15  15   704  15  15        0.0       0.60        158,400.0        158,400.0    633600.0     633600.0       0.00%    1267200.0
206    features.denseblock3.denselayer15.conv1   704  15  15   128  15  15    90112.0       0.11     40,521,600.0     20,275,200.0    994048.0     115200.0       0.80%    1109248.0
207    features.denseblock3.denselayer15.norm2   128  15  15   128  15  15      256.0       0.11        115,200.0         57,600.0    116224.0     115200.0       0.00%     231424.0
208    features.denseblock3.denselayer15.relu2   128  15  15   128  15  15        0.0       0.11         28,800.0         28,800.0    115200.0     115200.0       0.00%     230400.0
209    features.denseblock3.denselayer15.conv2   128  15  15    32  15  15    36864.0       0.03     16,581,600.0      8,294,400.0    262656.0      28800.0       0.00%     291456.0
210    features.denseblock3.denselayer16.norm1   736  15  15   736  15  15     1472.0       0.63        662,400.0        331,200.0    668288.0     662400.0       0.00%    1330688.0
211    features.denseblock3.denselayer16.relu1   736  15  15   736  15  15        0.0       0.63        165,600.0        165,600.0    662400.0     662400.0       0.00%    1324800.0
212    features.denseblock3.denselayer16.conv1   736  15  15   128  15  15    94208.0       0.11     42,364,800.0     21,196,800.0   1039232.0     115200.0       0.80%    1154432.0
213    features.denseblock3.denselayer16.norm2   128  15  15   128  15  15      256.0       0.11        115,200.0         57,600.0    116224.0     115200.0       0.00%     231424.0
214    features.denseblock3.denselayer16.relu2   128  15  15   128  15  15        0.0       0.11         28,800.0         28,800.0    115200.0     115200.0       0.00%     230400.0
215    features.denseblock3.denselayer16.conv2   128  15  15    32  15  15    36864.0       0.03     16,581,600.0      8,294,400.0    262656.0      28800.0       0.80%     291456.0
216    features.denseblock3.denselayer17.norm1   768  15  15   768  15  15     1536.0       0.66        691,200.0        345,600.0    697344.0     691200.0       0.00%    1388544.0
217    features.denseblock3.denselayer17.relu1   768  15  15   768  15  15        0.0       0.66        172,800.0        172,800.0    691200.0     691200.0       0.80%    1382400.0
218    features.denseblock3.denselayer17.conv1   768  15  15   128  15  15    98304.0       0.11     44,208,000.0     22,118,400.0   1084416.0     115200.0       0.00%    1199616.0
219    features.denseblock3.denselayer17.norm2   128  15  15   128  15  15      256.0       0.11        115,200.0         57,600.0    116224.0     115200.0       0.00%     231424.0
220    features.denseblock3.denselayer17.relu2   128  15  15   128  15  15        0.0       0.11         28,800.0         28,800.0    115200.0     115200.0       0.00%     230400.0
221    features.denseblock3.denselayer17.conv2   128  15  15    32  15  15    36864.0       0.03     16,581,600.0      8,294,400.0    262656.0      28800.0       0.00%     291456.0
222    features.denseblock3.denselayer18.norm1   800  15  15   800  15  15     1600.0       0.69        720,000.0        360,000.0    726400.0     720000.0       0.80%    1446400.0
223    features.denseblock3.denselayer18.relu1   800  15  15   800  15  15        0.0       0.69        180,000.0        180,000.0    720000.0     720000.0       0.00%    1440000.0
224    features.denseblock3.denselayer18.conv1   800  15  15   128  15  15   102400.0       0.11     46,051,200.0     23,040,000.0   1129600.0     115200.0       0.80%    1244800.0
225    features.denseblock3.denselayer18.norm2   128  15  15   128  15  15      256.0       0.11        115,200.0         57,600.0    116224.0     115200.0       0.00%     231424.0
226    features.denseblock3.denselayer18.relu2   128  15  15   128  15  15        0.0       0.11         28,800.0         28,800.0    115200.0     115200.0       0.00%     230400.0
227    features.denseblock3.denselayer18.conv2   128  15  15    32  15  15    36864.0       0.03     16,581,600.0      8,294,400.0    262656.0      28800.0       0.00%     291456.0
228    features.denseblock3.denselayer19.norm1   832  15  15   832  15  15     1664.0       0.71        748,800.0        374,400.0    755456.0     748800.0       0.00%    1504256.0
229    features.denseblock3.denselayer19.relu1   832  15  15   832  15  15        0.0       0.71        187,200.0        187,200.0    748800.0     748800.0       0.00%    1497600.0
230    features.denseblock3.denselayer19.conv1   832  15  15   128  15  15   106496.0       0.11     47,894,400.0     23,961,600.0   1174784.0     115200.0       0.80%    1289984.0
231    features.denseblock3.denselayer19.norm2   128  15  15   128  15  15      256.0       0.11        115,200.0         57,600.0    116224.0     115200.0       0.00%     231424.0
232    features.denseblock3.denselayer19.relu2   128  15  15   128  15  15        0.0       0.11         28,800.0         28,800.0    115200.0     115200.0       0.80%     230400.0
233    features.denseblock3.denselayer19.conv2   128  15  15    32  15  15    36864.0       0.03     16,581,600.0      8,294,400.0    262656.0      28800.0       0.00%     291456.0
234    features.denseblock3.denselayer20.norm1   864  15  15   864  15  15     1728.0       0.74        777,600.0        388,800.0    784512.0     777600.0       0.00%    1562112.0
235    features.denseblock3.denselayer20.relu1   864  15  15   864  15  15        0.0       0.74        194,400.0        194,400.0    777600.0     777600.0       0.80%    1555200.0
236    features.denseblock3.denselayer20.conv1   864  15  15   128  15  15   110592.0       0.11     49,737,600.0     24,883,200.0   1219968.0     115200.0       0.00%    1335168.0
237    features.denseblock3.denselayer20.norm2   128  15  15   128  15  15      256.0       0.11        115,200.0         57,600.0    116224.0     115200.0       0.80%     231424.0
238    features.denseblock3.denselayer20.relu2   128  15  15   128  15  15        0.0       0.11         28,800.0         28,800.0    115200.0     115200.0       0.00%     230400.0
239    features.denseblock3.denselayer20.conv2   128  15  15    32  15  15    36864.0       0.03     16,581,600.0      8,294,400.0    262656.0      28800.0       0.00%     291456.0
240    features.denseblock3.denselayer21.norm1   896  15  15   896  15  15     1792.0       0.77        806,400.0        403,200.0    813568.0     806400.0       0.80%    1619968.0
241    features.denseblock3.denselayer21.relu1   896  15  15   896  15  15        0.0       0.77        201,600.0        201,600.0    806400.0     806400.0       0.00%    1612800.0
242    features.denseblock3.denselayer21.conv1   896  15  15   128  15  15   114688.0       0.11     51,580,800.0     25,804,800.0   1265152.0     115200.0       0.80%    1380352.0
243    features.denseblock3.denselayer21.norm2   128  15  15   128  15  15      256.0       0.11        115,200.0         57,600.0    116224.0     115200.0       0.00%     231424.0
244    features.denseblock3.denselayer21.relu2   128  15  15   128  15  15        0.0       0.11         28,800.0         28,800.0    115200.0     115200.0       0.00%     230400.0
245    features.denseblock3.denselayer21.conv2   128  15  15    32  15  15    36864.0       0.03     16,581,600.0      8,294,400.0    262656.0      28800.0       0.80%     291456.0
246    features.denseblock3.denselayer22.norm1   928  15  15   928  15  15     1856.0       0.80        835,200.0        417,600.0    842624.0     835200.0       0.00%    1677824.0
247    features.denseblock3.denselayer22.relu1   928  15  15   928  15  15        0.0       0.80        208,800.0        208,800.0    835200.0     835200.0       0.00%    1670400.0
248    features.denseblock3.denselayer22.conv1   928  15  15   128  15  15   118784.0       0.11     53,424,000.0     26,726,400.0   1310336.0     115200.0       0.80%    1425536.0
249    features.denseblock3.denselayer22.norm2   128  15  15   128  15  15      256.0       0.11        115,200.0         57,600.0    116224.0     115200.0       0.00%     231424.0
250    features.denseblock3.denselayer22.relu2   128  15  15   128  15  15        0.0       0.11         28,800.0         28,800.0    115200.0     115200.0       0.80%     230400.0
251    features.denseblock3.denselayer22.conv2   128  15  15    32  15  15    36864.0       0.03     16,581,600.0      8,294,400.0    262656.0      28800.0       0.00%     291456.0
252    features.denseblock3.denselayer23.norm1   960  15  15   960  15  15     1920.0       0.82        864,000.0        432,000.0    871680.0     864000.0       0.00%    1735680.0
253    features.denseblock3.denselayer23.relu1   960  15  15   960  15  15        0.0       0.82        216,000.0        216,000.0    864000.0     864000.0       0.00%    1728000.0
254    features.denseblock3.denselayer23.conv1   960  15  15   128  15  15   122880.0       0.11     55,267,200.0     27,648,000.0   1355520.0     115200.0       0.00%    1470720.0
255    features.denseblock3.denselayer23.norm2   128  15  15   128  15  15      256.0       0.11        115,200.0         57,600.0    116224.0     115200.0       0.00%     231424.0
256    features.denseblock3.denselayer23.relu2   128  15  15   128  15  15        0.0       0.11         28,800.0         28,800.0    115200.0     115200.0       0.00%     230400.0
257    features.denseblock3.denselayer23.conv2   128  15  15    32  15  15    36864.0       0.03     16,581,600.0      8,294,400.0    262656.0      28800.0       0.00%     291456.0
258    features.denseblock3.denselayer24.norm1   992  15  15   992  15  15     1984.0       0.85        892,800.0        446,400.0    900736.0     892800.0       0.00%    1793536.0
259    features.denseblock3.denselayer24.relu1   992  15  15   992  15  15        0.0       0.85        223,200.0        223,200.0    892800.0     892800.0       0.00%    1785600.0
260    features.denseblock3.denselayer24.conv1   992  15  15   128  15  15   126976.0       0.11     57,110,400.0     28,569,600.0   1400704.0     115200.0       0.80%    1515904.0
261    features.denseblock3.denselayer24.norm2   128  15  15   128  15  15      256.0       0.11        115,200.0         57,600.0    116224.0     115200.0       0.00%     231424.0
262    features.denseblock3.denselayer24.relu2   128  15  15   128  15  15        0.0       0.11         28,800.0         28,800.0    115200.0     115200.0       0.00%     230400.0
263    features.denseblock3.denselayer24.conv2   128  15  15    32  15  15    36864.0       0.03     16,581,600.0      8,294,400.0    262656.0      28800.0       0.00%     291456.0
264                  features.transition3.norm  1024  15  15  1024  15  15     2048.0       0.88        921,600.0        460,800.0    929792.0     921600.0       0.80%    1851392.0
265                  features.transition3.relu  1024  15  15  1024  15  15        0.0       0.88        230,400.0        230,400.0    921600.0     921600.0       0.00%    1843200.0
266                  features.transition3.conv  1024  15  15   512  15  15   524288.0       0.44    235,814,400.0    117,964,800.0   3018752.0     460800.0       1.60%    3479552.0
267                  features.transition3.pool   512  15  15   512   7   7        0.0       0.10        100,352.0        115,200.0    460800.0     100352.0       0.00%     561152.0
268     features.denseblock4.denselayer1.norm1   512   7   7   512   7   7     1024.0       0.10        100,352.0         50,176.0    104448.0     100352.0       0.00%     204800.0
269     features.denseblock4.denselayer1.relu1   512   7   7   512   7   7        0.0       0.10         25,088.0         25,088.0    100352.0     100352.0       0.80%     200704.0
270     features.denseblock4.denselayer1.conv1   512   7   7   128   7   7    65536.0       0.02      6,416,256.0      3,211,264.0    362496.0      25088.0       0.00%     387584.0
271     features.denseblock4.denselayer1.norm2   128   7   7   128   7   7      256.0       0.02         25,088.0         12,544.0     26112.0      25088.0       0.00%      51200.0
272     features.denseblock4.denselayer1.relu2   128   7   7   128   7   7        0.0       0.02          6,272.0          6,272.0     25088.0      25088.0       0.00%      50176.0
273     features.denseblock4.denselayer1.conv2   128   7   7    32   7   7    36864.0       0.01      3,611,104.0      1,806,336.0    172544.0       6272.0       4.00%     178816.0
274     features.denseblock4.denselayer2.norm1   544   7   7   544   7   7     1088.0       0.10        106,624.0         53,312.0    110976.0     106624.0       0.00%     217600.0
275     features.denseblock4.denselayer2.relu1   544   7   7   544   7   7        0.0       0.10         26,656.0         26,656.0    106624.0     106624.0       0.00%     213248.0
276     features.denseblock4.denselayer2.conv1   544   7   7   128   7   7    69632.0       0.02      6,817,664.0      3,411,968.0    385152.0      25088.0       0.00%     410240.0
277     features.denseblock4.denselayer2.norm2   128   7   7   128   7   7      256.0       0.02         25,088.0         12,544.0     26112.0      25088.0       0.00%      51200.0
278     features.denseblock4.denselayer2.relu2   128   7   7   128   7   7        0.0       0.02          6,272.0          6,272.0     25088.0      25088.0       0.00%      50176.0
279     features.denseblock4.denselayer2.conv2   128   7   7    32   7   7    36864.0       0.01      3,611,104.0      1,806,336.0    172544.0       6272.0       0.80%     178816.0
280     features.denseblock4.denselayer3.norm1   576   7   7   576   7   7     1152.0       0.11        112,896.0         56,448.0    117504.0     112896.0       0.00%     230400.0
281     features.denseblock4.denselayer3.relu1   576   7   7   576   7   7        0.0       0.11         28,224.0         28,224.0    112896.0     112896.0       0.00%     225792.0
282     features.denseblock4.denselayer3.conv1   576   7   7   128   7   7    73728.0       0.02      7,219,072.0      3,612,672.0    407808.0      25088.0       0.00%     432896.0
283     features.denseblock4.denselayer3.norm2   128   7   7   128   7   7      256.0       0.02         25,088.0         12,544.0     26112.0      25088.0       0.00%      51200.0
284     features.denseblock4.denselayer3.relu2   128   7   7   128   7   7        0.0       0.02          6,272.0          6,272.0     25088.0      25088.0       0.00%      50176.0
285     features.denseblock4.denselayer3.conv2   128   7   7    32   7   7    36864.0       0.01      3,611,104.0      1,806,336.0    172544.0       6272.0       0.00%     178816.0
286     features.denseblock4.denselayer4.norm1   608   7   7   608   7   7     1216.0       0.11        119,168.0         59,584.0    124032.0     119168.0       0.00%     243200.0
287     features.denseblock4.denselayer4.relu1   608   7   7   608   7   7        0.0       0.11         29,792.0         29,792.0    119168.0     119168.0       0.00%     238336.0
288     features.denseblock4.denselayer4.conv1   608   7   7   128   7   7    77824.0       0.02      7,620,480.0      3,813,376.0    430464.0      25088.0       0.80%     455552.0
289     features.denseblock4.denselayer4.norm2   128   7   7   128   7   7      256.0       0.02         25,088.0         12,544.0     26112.0      25088.0       0.00%      51200.0
290     features.denseblock4.denselayer4.relu2   128   7   7   128   7   7        0.0       0.02          6,272.0          6,272.0     25088.0      25088.0       0.00%      50176.0
291     features.denseblock4.denselayer4.conv2   128   7   7    32   7   7    36864.0       0.01      3,611,104.0      1,806,336.0    172544.0       6272.0       0.00%     178816.0
292     features.denseblock4.denselayer5.norm1   640   7   7   640   7   7     1280.0       0.12        125,440.0         62,720.0    130560.0     125440.0       0.00%     256000.0
293     features.denseblock4.denselayer5.relu1   640   7   7   640   7   7        0.0       0.12         31,360.0         31,360.0    125440.0     125440.0       0.00%     250880.0
294     features.denseblock4.denselayer5.conv1   640   7   7   128   7   7    81920.0       0.02      8,021,888.0      4,014,080.0    453120.0      25088.0       0.00%     478208.0
295     features.denseblock4.denselayer5.norm2   128   7   7   128   7   7      256.0       0.02         25,088.0         12,544.0     26112.0      25088.0       0.00%      51200.0
296     features.denseblock4.denselayer5.relu2   128   7   7   128   7   7        0.0       0.02          6,272.0          6,272.0     25088.0      25088.0       0.80%      50176.0
297     features.denseblock4.denselayer5.conv2   128   7   7    32   7   7    36864.0       0.01      3,611,104.0      1,806,336.0    172544.0       6272.0       0.00%     178816.0
298     features.denseblock4.denselayer6.norm1   672   7   7   672   7   7     1344.0       0.13        131,712.0         65,856.0    137088.0     131712.0       0.00%     268800.0
299     features.denseblock4.denselayer6.relu1   672   7   7   672   7   7        0.0       0.13         32,928.0         32,928.0    131712.0     131712.0       0.00%     263424.0
300     features.denseblock4.denselayer6.conv1   672   7   7   128   7   7    86016.0       0.02      8,423,296.0      4,214,784.0    475776.0      25088.0       0.80%     500864.0
301     features.denseblock4.denselayer6.norm2   128   7   7   128   7   7      256.0       0.02         25,088.0         12,544.0     26112.0      25088.0       0.00%      51200.0
302     features.denseblock4.denselayer6.relu2   128   7   7   128   7   7        0.0       0.02          6,272.0          6,272.0     25088.0      25088.0       0.00%      50176.0
303     features.denseblock4.denselayer6.conv2   128   7   7    32   7   7    36864.0       0.01      3,611,104.0      1,806,336.0    172544.0       6272.0       0.00%     178816.0
304     features.denseblock4.denselayer7.norm1   704   7   7   704   7   7     1408.0       0.13        137,984.0         68,992.0    143616.0     137984.0       0.00%     281600.0
305     features.denseblock4.denselayer7.relu1   704   7   7   704   7   7        0.0       0.13         34,496.0         34,496.0    137984.0     137984.0       0.00%     275968.0
306     features.denseblock4.denselayer7.conv1   704   7   7   128   7   7    90112.0       0.02      8,824,704.0      4,415,488.0    498432.0      25088.0       0.00%     523520.0
307     features.denseblock4.denselayer7.norm2   128   7   7   128   7   7      256.0       0.02         25,088.0         12,544.0     26112.0      25088.0       0.00%      51200.0
308     features.denseblock4.denselayer7.relu2   128   7   7   128   7   7        0.0       0.02          6,272.0          6,272.0     25088.0      25088.0       0.00%      50176.0
309     features.denseblock4.denselayer7.conv2   128   7   7    32   7   7    36864.0       0.01      3,611,104.0      1,806,336.0    172544.0       6272.0       0.80%     178816.0
310     features.denseblock4.denselayer8.norm1   736   7   7   736   7   7     1472.0       0.14        144,256.0         72,128.0    150144.0     144256.0       0.00%     294400.0
311     features.denseblock4.denselayer8.relu1   736   7   7   736   7   7        0.0       0.14         36,064.0         36,064.0    144256.0     144256.0       0.00%     288512.0
312     features.denseblock4.denselayer8.conv1   736   7   7   128   7   7    94208.0       0.02      9,226,112.0      4,616,192.0    521088.0      25088.0       0.80%     546176.0
313     features.denseblock4.denselayer8.norm2   128   7   7   128   7   7      256.0       0.02         25,088.0         12,544.0     26112.0      25088.0       0.00%      51200.0
314     features.denseblock4.denselayer8.relu2   128   7   7   128   7   7        0.0       0.02          6,272.0          6,272.0     25088.0      25088.0       0.00%      50176.0
315     features.denseblock4.denselayer8.conv2   128   7   7    32   7   7    36864.0       0.01      3,611,104.0      1,806,336.0    172544.0       6272.0       0.00%     178816.0
316     features.denseblock4.denselayer9.norm1   768   7   7   768   7   7     1536.0       0.14        150,528.0         75,264.0    156672.0     150528.0       0.00%     307200.0
317     features.denseblock4.denselayer9.relu1   768   7   7   768   7   7        0.0       0.14         37,632.0         37,632.0    150528.0     150528.0       0.80%     301056.0
318     features.denseblock4.denselayer9.conv1   768   7   7   128   7   7    98304.0       0.02      9,627,520.0      4,816,896.0    543744.0      25088.0       0.00%     568832.0
319     features.denseblock4.denselayer9.norm2   128   7   7   128   7   7      256.0       0.02         25,088.0         12,544.0     26112.0      25088.0       0.00%      51200.0
320     features.denseblock4.denselayer9.relu2   128   7   7   128   7   7        0.0       0.02          6,272.0          6,272.0     25088.0      25088.0       0.00%      50176.0
321     features.denseblock4.denselayer9.conv2   128   7   7    32   7   7    36864.0       0.01      3,611,104.0      1,806,336.0    172544.0       6272.0       0.80%     178816.0
322    features.denseblock4.denselayer10.norm1   800   7   7   800   7   7     1600.0       0.15        156,800.0         78,400.0    163200.0     156800.0       0.00%     320000.0
323    features.denseblock4.denselayer10.relu1   800   7   7   800   7   7        0.0       0.15         39,200.0         39,200.0    156800.0     156800.0       0.00%     313600.0
324    features.denseblock4.denselayer10.conv1   800   7   7   128   7   7   102400.0       0.02     10,028,928.0      5,017,600.0    566400.0      25088.0       0.00%     591488.0
325    features.denseblock4.denselayer10.norm2   128   7   7   128   7   7      256.0       0.02         25,088.0         12,544.0     26112.0      25088.0       0.00%      51200.0
326    features.denseblock4.denselayer10.relu2   128   7   7   128   7   7        0.0       0.02          6,272.0          6,272.0     25088.0      25088.0       0.00%      50176.0
327    features.denseblock4.denselayer10.conv2   128   7   7    32   7   7    36864.0       0.01      3,611,104.0      1,806,336.0    172544.0       6272.0       0.00%     178816.0
328    features.denseblock4.denselayer11.norm1   832   7   7   832   7   7     1664.0       0.16        163,072.0         81,536.0    169728.0     163072.0       0.00%     332800.0
329    features.denseblock4.denselayer11.relu1   832   7   7   832   7   7        0.0       0.16         40,768.0         40,768.0    163072.0     163072.0       0.80%     326144.0
330    features.denseblock4.denselayer11.conv1   832   7   7   128   7   7   106496.0       0.02     10,430,336.0      5,218,304.0    589056.0      25088.0       0.00%     614144.0
331    features.denseblock4.denselayer11.norm2   128   7   7   128   7   7      256.0       0.02         25,088.0         12,544.0     26112.0      25088.0       0.00%      51200.0
332    features.denseblock4.denselayer11.relu2   128   7   7   128   7   7        0.0       0.02          6,272.0          6,272.0     25088.0      25088.0       0.00%      50176.0
333    features.denseblock4.denselayer11.conv2   128   7   7    32   7   7    36864.0       0.01      3,611,104.0      1,806,336.0    172544.0       6272.0       0.80%     178816.0
334    features.denseblock4.denselayer12.norm1   864   7   7   864   7   7     1728.0       0.16        169,344.0         84,672.0    176256.0     169344.0       0.00%     345600.0
335    features.denseblock4.denselayer12.relu1   864   7   7   864   7   7        0.0       0.16         42,336.0         42,336.0    169344.0     169344.0       0.00%     338688.0
336    features.denseblock4.denselayer12.conv1   864   7   7   128   7   7   110592.0       0.02     10,831,744.0      5,419,008.0    611712.0      25088.0       0.80%     636800.0
337    features.denseblock4.denselayer12.norm2   128   7   7   128   7   7      256.0       0.02         25,088.0         12,544.0     26112.0      25088.0       0.00%      51200.0
338    features.denseblock4.denselayer12.relu2   128   7   7   128   7   7        0.0       0.02          6,272.0          6,272.0     25088.0      25088.0       0.00%      50176.0
339    features.denseblock4.denselayer12.conv2   128   7   7    32   7   7    36864.0       0.01      3,611,104.0      1,806,336.0    172544.0       6272.0       0.00%     178816.0
340    features.denseblock4.denselayer13.norm1   896   7   7   896   7   7     1792.0       0.17        175,616.0         87,808.0    182784.0     175616.0       0.00%     358400.0
341    features.denseblock4.denselayer13.relu1   896   7   7   896   7   7        0.0       0.17         43,904.0         43,904.0    175616.0     175616.0       0.00%     351232.0
342    features.denseblock4.denselayer13.conv1   896   7   7   128   7   7   114688.0       0.02     11,233,152.0      5,619,712.0    634368.0      25088.0       0.00%     659456.0
343    features.denseblock4.denselayer13.norm2   128   7   7   128   7   7      256.0       0.02         25,088.0         12,544.0     26112.0      25088.0       0.00%      51200.0
344    features.denseblock4.denselayer13.relu2   128   7   7   128   7   7        0.0       0.02          6,272.0          6,272.0     25088.0      25088.0       0.80%      50176.0
345    features.denseblock4.denselayer13.conv2   128   7   7    32   7   7    36864.0       0.01      3,611,104.0      1,806,336.0    172544.0       6272.0       0.00%     178816.0
346    features.denseblock4.denselayer14.norm1   928   7   7   928   7   7     1856.0       0.17        181,888.0         90,944.0    189312.0     181888.0       0.00%     371200.0
347    features.denseblock4.denselayer14.relu1   928   7   7   928   7   7        0.0       0.17         45,472.0         45,472.0    181888.0     181888.0       0.00%     363776.0
348    features.denseblock4.denselayer14.conv1   928   7   7   128   7   7   118784.0       0.02     11,634,560.0      5,820,416.0    657024.0      25088.0       0.80%     682112.0
349    features.denseblock4.denselayer14.norm2   128   7   7   128   7   7      256.0       0.02         25,088.0         12,544.0     26112.0      25088.0       0.00%      51200.0
350    features.denseblock4.denselayer14.relu2   128   7   7   128   7   7        0.0       0.02          6,272.0          6,272.0     25088.0      25088.0       0.00%      50176.0
351    features.denseblock4.denselayer14.conv2   128   7   7    32   7   7    36864.0       0.01      3,611,104.0      1,806,336.0    172544.0       6272.0       0.00%     178816.0
352    features.denseblock4.denselayer15.norm1   960   7   7   960   7   7     1920.0       0.18        188,160.0         94,080.0    195840.0     188160.0       0.00%     384000.0
353    features.denseblock4.denselayer15.relu1   960   7   7   960   7   7        0.0       0.18         47,040.0         47,040.0    188160.0     188160.0       0.00%     376320.0
354    features.denseblock4.denselayer15.conv1   960   7   7   128   7   7   122880.0       0.02     12,035,968.0      6,021,120.0    679680.0      25088.0       0.00%     704768.0
355    features.denseblock4.denselayer15.norm2   128   7   7   128   7   7      256.0       0.02         25,088.0         12,544.0     26112.0      25088.0       0.00%      51200.0
356    features.denseblock4.denselayer15.relu2   128   7   7   128   7   7        0.0       0.02          6,272.0          6,272.0     25088.0      25088.0       0.80%      50176.0
357    features.denseblock4.denselayer15.conv2   128   7   7    32   7   7    36864.0       0.01      3,611,104.0      1,806,336.0    172544.0       6272.0       0.00%     178816.0
358    features.denseblock4.denselayer16.norm1   992   7   7   992   7   7     1984.0       0.19        194,432.0         97,216.0    202368.0     194432.0       0.00%     396800.0
359    features.denseblock4.denselayer16.relu1   992   7   7   992   7   7        0.0       0.19         48,608.0         48,608.0    194432.0     194432.0       0.00%     388864.0
360    features.denseblock4.denselayer16.conv1   992   7   7   128   7   7   126976.0       0.02     12,437,376.0      6,221,824.0    702336.0      25088.0       0.80%     727424.0
361    features.denseblock4.denselayer16.norm2   128   7   7   128   7   7      256.0       0.02         25,088.0         12,544.0     26112.0      25088.0       0.00%      51200.0
362    features.denseblock4.denselayer16.relu2   128   7   7   128   7   7        0.0       0.02          6,272.0          6,272.0     25088.0      25088.0       0.00%      50176.0
363    features.denseblock4.denselayer16.conv2   128   7   7    32   7   7    36864.0       0.01      3,611,104.0      1,806,336.0    172544.0       6272.0       0.00%     178816.0
364                             features.norm5  1024   7   7  1024   7   7     2048.0       0.19        200,704.0        100,352.0    208896.0     200704.0       0.00%     409600.0
365                                 classifier          1024          1000  1025000.0       0.00      2,047,000.0      1,024,000.0   4104096.0       4000.0       0.00%    4108096.0
total                                                                       7978856.0     170.60  6,658,402,616.0  3,342,702,624.0   4104096.0       4000.0     100.00%  432034176.0
====================================================================================================================================================================================
Total params: 7,978,856
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Total memory: 170.60MB
Total MAdd: 6.66GMAdd
Total Flops: 3.34GFlops
Total MemR+W: 412.02MB

参考：谈一谈ResNet和DenseNet

你可能感兴趣的:(pytorch,神经网络,图像分类,深度学习,神经网络,计算机视觉)

  • 机器学习与深度学习间关系与区别 ℒℴѵℯ心·动ꦿ໊ོ꫞ 人工智能学习深度学习python
    一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
  • 将cmd中命令输出保存为txt文本文件 落难Coder Windowscmdwindow
    最近深度学习本地的训练中我们常常要在命令行中运行自己的代码，无可厚非，我们有必要保存我们的炼丹结果，但是复制命令行输出到txt是非常麻烦的，其实Windows下的命令行为我们提供了相应的操作。其基本的调用格式就是：运行指令>输出到的文件名称或者具体保存路径测试下，我打开cmd并且ping一下百度：pingwww.baidu.com>./data.txt看下相同目录下data.txt的输出：如果你再
  • 番茄西红柿叶子病害分类数据集12882张11类别 futureflsl 数据集分类数据挖掘人工智能
    数据集类型：图像分类用，不可用于目标检测无标注文件数据集格式：仅仅包含jpg图片，每个类别文件夹下面存放着对应图片图片数量(jpg文件个数)：12882分类类别数：11类别名称:["Bacterial_Spot_Bacteria","Early_Blight_Fungus","Healthy","Late_Blight_Water_Mold","Leaf_Mold_Fungus","Powdery
  • 遥感影像的切片处理 sand&wich 计算机视觉python图像处理
    在遥感影像分析中，经常需要将大尺寸的影像切分成小片段，以便于进行详细的分析和处理。这种方法特别适用于机器学习和图像处理任务，如对象检测、图像分类等。以下是如何使用Python和OpenCV库来实现这一过程，同时确保每个影像片段保留正确的地理信息。准备环境首先，确保安装了必要的Python库，包括numpy、opencv-python和xml.etree.ElementTree。这些库将用于图像处理
  • 推荐3家毕业AI论文可五分钟一键生成！文末附免费教程！ 小猪包333 写论文人工智能AI写作深度学习计算机视觉
    在当前的学术研究和写作领域，AI论文生成器已经成为许多研究人员和学生的重要工具。这些工具不仅能够帮助用户快速生成高质量的论文内容，还能进行内容优化、查重和排版等操作。以下是三款值得推荐的AI论文生成器：千笔-AIPassPaper、懒人论文以及AIPaperPass。千笔-AIPassPaper千笔-AIPassPaper是一款基于深度学习和自然语言处理技术的AI写作助手，旨在帮助用户快速生成高质
  • AI大模型的架构演进与最新发展 季风泯灭的季节 AI大模型应用技术二人工智能架构
    随着深度学习的发展，AI大模型（LargeLanguageModels,LLMs）在自然语言处理、计算机视觉等领域取得了革命性的进展。本文将详细探讨AI大模型的架构演进，包括从Transformer的提出到GPT、BERT、T5等模型的历史演变，并探讨这些模型的技术细节及其在现代人工智能中的核心作用。一、基础模型介绍：Transformer的核心原理Transformer架构的背景在Transfo
  • ai绘画工具midjourney怎么下载？附作品管理教程 设计师早上好
    Midjourney是一款功能强大的AI绘画工具，它使用机器学习技术和深度神经网络等算法，可以生成各种艺术风格的绘画作品。在创意设计、广告宣传等方面有着广泛的应用前景。那么，ai绘画工具midjourney怎么下载？本文将为您介绍Midjourney的下载以及作品的相关管理。一、Midjourney下载Midjourney的下载非常简单，只需打开Midjourney官网（点击“GetMidjour
  • [实践应用] 深度学习之模型性能评估指标 YuanDaima2048 深度学习工具使用深度学习人工智能损失函数性能评估pytorchpython机器学习
    文章总览：YuanDaiMa2048博客文章总览深度学习之模型性能评估指标分类任务回归任务排序任务聚类任务生成任务其他介绍在机器学习和深度学习领域，评估模型性能是一项至关重要的任务。不同的学习任务需要不同的性能指标来衡量模型的有效性。以下是对一些常见任务及其相应的性能评估指标的详细解释和总结。分类任务分类任务是指模型需要将输入数据分配到预定义的类别或标签中。以下是分类任务中常用的性能指标：准确率(
  • [实践应用] 深度学习之优化器 YuanDaima2048 深度学习工具使用pytorch深度学习人工智能机器学习python优化器
    文章总览：YuanDaiMa2048博客文章总览深度学习之优化器1.随机梯度下降（SGD）2.动量优化（Momentum）3.自适应梯度（Adagrad）4.自适应矩估计（Adam）5.RMSprop总结其他介绍在深度学习中，优化器用于更新模型的参数，以最小化损失函数。常见的优化函数有很多种，下面是几种主流的优化器及其特点、原理和PyTorch实现：1.随机梯度下降（SGD）原理:随机梯度下降通过
  • 生成式地图制图 Bwywb_3 深度学习机器学习深度学习生成对抗网络
    生成式地图制图（GenerativeCartography）是一种利用生成式算法和人工智能技术自动创建地图的技术。它结合了传统的地理信息系统（GIS）技术与现代生成模型（如深度学习、GANs等），能够根据输入的数据自动生成符合需求的地图。这种方法在城市规划、虚拟环境设计、游戏开发等多个领域具有应用前景。主要特点：自动化生成：通过算法和模型，系统能够根据输入的地理或空间数据自动生成地图，而无需人工逐
  • 吴恩达深度学习笔记(30)-正则化的解释 极客Array
    正则化（Regularization）深度学习可能存在过拟合问题——高方差，有两个解决方法，一个是正则化，另一个是准备更多的数据，这是非常可靠的方法，但你可能无法时时刻刻准备足够多的训练数据或者获取更多数据的成本很高，但正则化通常有助于避免过拟合或减少你的网络误差。如果你怀疑神经网络过度拟合了数据，即存在高方差问题，那么最先想到的方法可能是正则化，另一个解决高方差的方法就是准备更多数据，这也是非常
  • 个人学习笔记7-6：动手学深度学习pytorch版-李沐 浪子L 深度学习深度学习笔记计算机视觉python人工智能神经网络pytorch
    #人工智能##深度学习##语义分割##计算机视觉##神经网络#计算机视觉13.11全卷积网络全卷积网络（fullyconvolutionalnetwork，FCN）采用卷积神经网络实现了从图像像素到像素类别的变换。引入l转置卷积（transposedconvolution）实现的，输出的类别预测与输入图像在像素级别上具有一一对应关系：通道维的输出即该位置对应像素的类别预测。13.11.1构造模型下
  • 深度学习-点击率预估-研究论文2024-09-14速读 sp_fyf_2024 深度学习人工智能
    深度学习-点击率预估-研究论文2024-09-14速读1.DeepTargetSessionInterestNetworkforClick-ThroughRatePredictionHZhong,JMa,XDuan,SGu,JYao-2024InternationalJointConferenceonNeuralNetworks,2024深度目标会话兴趣网络用于点击率预测摘要：这篇文章提出了一种新
  • 计算机视觉中，Pooling的作用 Wils0nEdwards 计算机视觉人工智能
    在计算机视觉中，Pooling（池化）是一种常见的操作，主要用于卷积神经网络（CNN）中。它通过对特征图进行下采样，减少数据的空间维度，同时保留重要的特征信息。Pooling的作用可以归纳为以下几个方面：1.降低计算复杂度与内存需求Pooling操作通过对特征图进行下采样，减少了特征图的空间分辨率（例如，高度和宽度）。这意味着网络需要处理的数据量会减少，从而降低了计算量和内存需求。这对大型神经网络
  • 神经网络-损失函数 红米煮粥 神经网络人工智能深度学习
    文章目录一、回归问题的损失函数1.均方误差（MeanSquaredError,MSE）2.平均绝对误差（MeanAbsoluteError,MAE）二、分类问题的损失函数1.0-1损失函数（Zero-OneLossFunction）2.交叉熵损失（Cross-EntropyLoss）3.合页损失（HingeLoss）三、总结在神经网络中，损失函数（LossFunction）扮演着至关重要的角色，它
  • OpenCV图像处理技术（Python）——入门 森屿_ opencv
    ©FuXianjun.AllRightsReserved.OpenCV入门图像作为人类感知世界的视觉基础，是人类获取信息、表达信息的重要手段，OpenCV作为一个开源的计算机视觉库，它包括几百个易用的图像成像和视觉函数，既可以用于学术研究，也可用于工业邻域，它于1999年由因特尔的GaryBradski启动，OpenCV库主要由C和C++语言编写，它可以在多个操作系统上运行。1.1图像处理基本操作
  • 损失函数与反向传播 Star_. PyTorchpytorch深度学习python
    损失函数定义与作用损失函数(lossfunction)在深度学习领域是用来计算搭建模型预测的输出值和真实值之间的误差。1.损失函数越小越好2.计算实际输出与目标之间的差距3.为更新输出提供依据（反向传播)常见的损失函数回归常见的损失函数有：均方差（MeanSquaredError，MSE）、平均绝对误差（MeanAbsoluteErrorLoss，MAE）、HuberLoss是一种将MSE与MAE
  • BP神经网络的传递函数 大胜归来19 MATLAB
    BP网络一般都是用三层的，四层及以上的都比较少用；传输函数的选择，这个怎么说，假设你想预测的结果是几个固定值，如1,0等，满足某个条件输出1，不满足则0的话，首先想到的是hardlim函数，阈值型的，当然也可以考虑其他的；然后，假如网络是用来表达某种线性关系时，用purelin---线性传输函数；若是非线性关系的话，用别的非线性传递函数，多层网络时，每层不一定要用相同的传递函数，可以是三种配合，可
  • 神经网络传递函数sigmoid,神经网络传递函数作用 快乐的小荣荣 神经网络机器学习深度学习人工智能
    神经网络传递函数选取不同会有特别大差别嘛？只是最后一层，但前面层是非线性，那么可能存在区别不大的情况。线性函数f(a*input)=af(input),一般来说，input为向量，最简化情况下，可以假设input的各个维度，a1=a2=a3。。。意味着你线性层只是简单的对输入做了scale~而神经网络能起作用的原因，在于通过足够复杂的非线性函数，来模拟任何的分布。所以，神经网络必须要用非线性函数。
  • 【安装环境】配置MMTracking环境 xuanyu22 安装环境机器学习神经网络深度学习python
    版本v0.14.0安装torchnumpy的版本不能太高，否则后面安装时会发生冲突。先安装numpy，因为pytorch的安装会自动配置高版本numpy。condainstallnumpy=1.21.5mmtracking支持的torch版本有限，需要找到合适的condainstallpytorch==1.11.0torchvision==0.12.0cudatoolkit=10.2-cpytor
  • Python和R均方根误差平均绝对误差算法模型 亚图跨际 Python交叉知识R回归模型误差指标归一化均方根误差生态状态指标神经网络成本误差气体排放气候模型多项式拟合
    要点回归模型误差评估指标归一化均方根误差生态状态指标神经网络成本误差计算气体排放气候算法模型Python误差指标均方根误差和平均绝对误差均方根偏差或均方根误差是两个密切相关且经常使用的度量值之一，用于衡量真实值或预测值与观测值或估计值之间的差异。估计器θ^\hat{\theta}θ^相对于估计参数θ\thetaθ的RMSD定义为均方误差的平方根：RMSD⁡(θ^)=MSE⁡(θ^)=E((θ^−θ
  • Python(PyTorch)和MATLAB及Rust和C++结构相似度指数测量导图 亚图跨际 Python交叉知识算法量化检查图像压缩质量低分辨率多光谱峰值信噪比端到端优化图像压缩手术机器人三维实景实时可微分渲染重建三维可视化
    要点量化检查图像压缩质量低分辨率多光谱和高分辨率图像实现超分辨率分析图像质量图像索引/多尺度结构相似度指数和光谱角映射器及视觉信息保真度多种指标峰值信噪比和结构相似度指数测量结构相似性图像分类PNG和JPEG图像相似性近似算法图像压缩，视频压缩、端到端优化图像压缩、神经图像压缩、GPU变速图像压缩手术机器人深度估计算法重建三维可视化推理图像超分辨率算法模型三维实景实时可微分渲染算法MATLAB结构
  • 【深度学习】训练过程中一个OOM的问题，太难查了 weixin_40293999 深度学习深度学习人工智能
    现象：各位大佬又遇到过ubuntu的这个问题么？现象是在训练过程中，ssh上不去了，能ping通，没死机，但是ubunutu的pc侧的显示器，鼠标啥都不好用了。只能重启。问题原因：OOM了95G，尼玛！！！！pytorch爆内存了，然后journald假死了，在journald被watchdog干掉之后，系统就崩溃了。这种规模的爆内存一般，即使被oomkill了，也要卡半天的，确实会这样，能不能配
  • Pyorch中 nn.Conv1d 与 nn.Linear 的区别 迪三 #NN_Layer神经网络
    即一维卷积层和全联接层的区别nn.Conv1d和nn.Linear都是PyTorch中的层，它们用于不同的目的，主要区别在于它们处理输入数据的方式和执行的操作类型。nn.Conv1d通过应用滑动过滤器来捕捉序列数据中的局部模式，适用于处理具有时间或序列结构的数据。nn.Linear通过将每个输入与每个输出相连接，捕捉全局关系，适用于将输入数据作为整体处理的任务。1.维度与输入nn.Conv1d（一
  • 图片中的上采样，下采样和通道融合(up-sample, down-sample, channel confusion) 迪三 #图像处理_PyTorch计算机视觉深度学习人工智能
    前言以conv2d为例（即图片），Pytorch中输入的数据格式为tensor，格式为:[N,C,W,H,W]第一维N.代表图片个数，类似一个batch里面有N张图片第二维C.代表通道数，在模型中输入如果为彩色，常用RGB三色图，那么就是3维，即C=3。如果是黑白的，即灰度图，那么只有一个通道，即C=1第三维H.代表图片的高度，H的数量是图片像素的列数第四维W.代表图片的宽度，W的数量是图片像素的
  • CV、NLP、数据控掘推荐、量化 海的那边- AI算法自然语言处理人工智能
    下面是对CV（计算机视觉）、NLP（自然语言处理）、数据挖掘推荐和量化的简要概述及其应用领域的介绍：1.CV（计算机视觉，ComputerVision）定义：计算机视觉是一门让计算机能够从图像或视频中提取有用信息，并做出决策的学科。它通过模拟人类的视觉系统来识别、处理和理解视觉信息。主要任务：图像分类：识别图像中的物体并分类，比如猫、狗、车等。目标检测：在图像或视频中定位并识别多个对象，如人脸检测
  • 云服务业界动态简报-20180128 Captain7
    一、青云青云QingCloud推出深度学习平台DeepLearningonQingCloud，包含了主流的深度学习框架及数据科学工具包，通过QingCloudAppCenter一键部署交付，可以让算法工程师和数据科学家快速构建深度学习开发环境，将更多的精力放在模型和算法调优。二、腾讯云1.腾讯云正式发布腾讯专有云TCE(TencentCloudEnterprise)矩阵，涵盖企业版、大数据版、AI
  • 机器学习VS深度学习 nfgo 机器学习
    机器学习（MachineLearning,ML）和深度学习（DeepLearning,DL）是人工智能（AI）的两个子领域，它们有许多相似之处，但在技术实现和应用范围上也有显著区别。下面从几个方面对两者进行区分：1.概念层面机器学习：是让计算机通过算法从数据中自动学习和改进的技术。它依赖于手动设计的特征和数学模型来进行学习，常用的模型有决策树、支持向量机、线性回归等。深度学习：是机器学习的一个子领
  • 大数据毕业设计hadoop+spark+hive知识图谱租房数据分析可视化大屏 租房推荐系统 58同城租房爬虫 房源推荐系统 房价预测系统 计算机毕业设计 机器学习 深度学习 人工智能 2401_84572577 程序员大数据hadoop人工智能
    做了那么多年开发，自学了很多门编程语言，我很明白学习资源对于学一门新语言的重要性，这些年也收藏了不少的Python干货，对我来说这些东西确实已经用不到了，但对于准备自学Python的人来说，或许它就是一个宝藏，可以给你省去很多的时间和精力。别在网上瞎学了，我最近也做了一些资源的更新，只要你是我的粉丝，这期福利你都可拿走。我先来介绍一下这些东西怎么用，文末抱走。（1）Python所有方向的学习路线（
  • 深度学习-13-小语言模型之SmolLM的使用 皮皮冰燃 深度学习深度学习
    文章附录1SmolLM概述1.1SmolLM简介1.2下载模型2运行2.1在CPU/GPU/多GPU上运行模型2.2使用torch.bfloat162.3通过位和字节的量化版本3应用示例4问题及解决4.1attention_mask和pad_token_id报错4.2max_new_tokens=205参考附录1SmolLM概述1.1SmolLM简介SmolLM是一系列尖端小型语言模型，提供三种规
  • jsonp 常用util方法 hw1287789687 jsonpjsonp常用方法jsonp callback
    jsonp 常用java方法 (1)以jsonp的形式返回:函数名(json字符串) /*** * 用于jsonp调用 * @param map : 用于构造json数据 * @param callback : 回调的javascript方法名 * @param filters : <code>SimpleBeanPropertyFilter theFilt
  • 多线程场景 alafqq 多线程
    0 能不能简单描述一下你在java web开发中需要用到多线程编程的场景？0 对多线程有些了解，但是不太清楚具体的应用场景，能简单说一下你遇到的多线程编程的场景吗？ Java多线程 2012年11月23日 15:41 Young9007 Young9007 4 0 0 4 Comment添加评论关注(2) 3个答案 按时间排序 按投票排序 0 0 最典型的如： 1、
  • Maven学习——修改Maven的本地仓库路径 Kai_Ge maven
          安装Maven后我们会在用户目录下发现.m2 文件夹。默认情况下，该文件夹下放置了Maven本地仓库.m2/repository。所有的Maven构件(artifact)都被存储到该仓库中，以方便重用。但是windows用户的操作系统都安装在C盘，把Maven仓库放到C盘是很危险的，为此我们需要修改Maven的本地仓库路径。    
  • placeholder的浏览器兼容 120153216 placeholder
    【前言】 自从html5引入placeholder后，问题就来了， 不支持html5的浏览器也先有这样的效果， 各种兼容，之前考虑，今天测试人员逮住不放， 想了个解决办法，看样子还行，记录一下。   【原理】 不使用placeholder，而是模拟placeholder的效果， 大概就是用focus和focusout效果。   【代码】 <scrip
  • debian_用iso文件创建本地apt源 2002wmj Debian
    1.将N个debian-506-amd64-DVD-N.iso存放于本地或其他媒介内，本例是放在本机/iso/目录下 2.创建N个挂载点目录 如下： debian:~#mkdir –r /media/dvd1 debian:~#mkdir –r /media/dvd2 debian:~#mkdir –r /media/dvd3 …. debian:~#mkdir –r /media
  • SQLSERVER耗时最长的SQL 357029540 SQL Server
    对于DBA来说，经常要知道存储过程的某些信息： 1.   执行了多少次 2.   执行的执行计划如何 3.   执行的平均读写如何 4.   执行平均需要多少时间 列名          &
  • com/genuitec/eclipse/j2eedt/core/J2EEProjectUtil 7454103 eclipse
    今天eclipse突然报了com/genuitec/eclipse/j2eedt/core/J2EEProjectUtil 错误，并且工程文件打不开了，在网上找了一下资料，然后按照方法操作了一遍，好了，解决方法如下： 错误提示信息： An error has occurred.See error log for more details. Reason: com/genuitec/
  • 用正则删除文本中的html标签 adminjun javahtml正则表达式去掉html标签
    使用文本编辑器录入文章存入数据中的文本是HTML标签格式，由于业务需要对HTML标签进行去除只保留纯净的文本内容，于是乎Java实现自动过滤。 如下： public static String Html2Text(String inputString) { String htmlStr = inputString; // 含html标签的字符串 String textSt
  • 嵌入式系统设计中常用总线和接口 aijuans linux 基础
                   嵌入式系统设计中常用总线和接口         任何一个微处理器都要与一定数量的部件和外围设备连接，但如果将各部件和每一种外围设备都分别用一组线路与CPU直接连接，那么连线
  • Java函数调用方式——按值传递 ayaoxinchao java按值传递对象基础数据类型
    Java使用按值传递的函数调用方式，这往往使我感到迷惑。因为在基础数据类型和对象的传递上，我就会纠结于到底是按值传递，还是按引用传递。其实经过学习，Java在任何地方，都一直发挥着按值传递的本色。   首先，让我们看一看基础数据类型是如何按值传递的。   public static void main(String[] args) { int a = 2;
  • ios音量线性下降 bewithme ios音量
    直接上代码吧   //second 几秒内下降为0 - (void)reduceVolume:(int)second { KGVoicePlayer *player = [KGVoicePlayer defaultPlayer]; if (!_flag) { _tempVolume = player.volume;
  • 与其怨它不如爱它 bijian1013 选择理想职业规划
            抱怨工作是年轻人的常态，但爱工作才是积极的心态，与其怨它不如爱它。         一般来说，在公司干了一两年后，不少年轻人容易产生怨言，除了具体的埋怨公司“扭门”，埋怨上司无能以外，也有许多人是因为根本不爱自已的那份工作，工作完全成了谋生的手段，跟自已的性格、专业、爱好都相差甚远。  
  • 一边时间不够用一边浪费时间 bingyingao 工作时间浪费
    一方面感觉时间严重不够用，另一方面又在不停的浪费时间。 每一个周末，晚上熬夜看电影到凌晨一点，早上起不来一直睡到10点钟，10点钟起床，吃饭后玩手机到下午一点。 精神还是很差，下午像一直野鬼在城市里晃荡。 为何不尝试晚上10点钟就睡，早上7点就起，时间完全是一样的，把看电影的时间换到早上，精神好，气色好，一天好状态。 控制让自己周末早睡早起，你就成功了一半。 有多少个工作
  • 【Scala八】Scala核心二：隐式转换 bit1129 scala
    Implicits work like this: if you call a method on a Scala object, and the Scala compiler does not see a definition for that method in the class definition for that object, the compiler will try to con
  • sudoku slover in Haskell (2) bookjovi haskellsudoku
    继续精简haskell版的sudoku程序，稍微改了一下，这次用了8行，同时性能也提高了很多，对每个空格的所有解不是通过尝试算出来的，而是直接得出。   board = [0,3,4,1,7,0,5,0,0, 0,6,0,0,0,8,3,0,1, 7,0,0,3,0,0,0,0,6, 5,0,0,6,4,0,8,0,7,
  • Java-Collections Framework学习与总结-HashSet和LinkedHashSet BrokenDreams linkedhashset
            本篇总结一下两个常用的集合类HashSet和LinkedHashSet。         它们都实现了相同接口java.util.Set。Set表示一种元素无序且不可重复的集合；之前总结过的java.util.List表示一种元素可重复且有序
  • 读《研磨设计模式》-代码笔记-备忘录模式-Memento bylijinnan java设计模式
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ import java.util.ArrayList; import java.util.List; /* * 备忘录模式的功能是，在不破坏封装性的前提下，捕获一个对象的内部状态，并在对象之外保存这个状态，为以后的状态恢复作“备忘”
  • 《RAW格式照片处理专业技法》笔记 cherishLC PS
    注意，这不是教程！仅记录楼主之前不太了解的 一、色彩（空间）管理 作者建议采用ProRGB（色域最广），但camera raw中设为ProRGB，而PS中则在ProRGB的基础上，将gamma值设为了1.8（更符合人眼） 注意：bridge、camera raw怎么设置显示、输出的颜色都是正确的（会读取文件内的颜色配置文件），但用PS输出jpg文件时，必须先用Edit->conv
  • 使用 Git 下载 Spring 源码 编译 for Eclipse crabdave eclipse
    使用 Git 下载 Spring 源码 编译 for Eclipse   1、安装gradle，下载 http://www.gradle.org/downloads 配置环境变量GRADLE_HOME，配置PATH  %GRADLE_HOME%/bin，cmd，gradle -v   2、spring4 用jdk8 下载 https://jdk8.java.
  • mysql连接拒绝问题 daizj mysql登录权限
    mysql中在其它机器连接mysql服务器时报错问题汇总 一、[running][email protected]:~$mysql -uroot -h 192.168.9.108 -p   //带-p参数，在下一步进行密码输入 Enter password:    //无字符串输入 ERROR 1045 (28000): Access
  • Google Chrome 为何打压 H.264 dsjt applehtml5chromeGoogle
    Google 今天在 Chromium 官方博客宣布由于 H.264 编解码器并非开放标准，Chrome 将在几个月后正式停止对 H.264 视频解码的支持，全面采用开放的 WebM 和 Theora 格式。 Google 在博客上表示，自从 WebM 视频编解码器推出以后，在性能、厂商支持以及独立性方面已经取得了很大的进步，为了与 Chromium 现有支持的編解码器保持一致，Chrome
  • yii 获取控制器名 和方法名 dcj3sjt126com yiiframework
    1. 获取控制器名 在控制器中获取控制器名:  $name = $this->getId(); 在视图中获取控制器名:    $name = Yii::app()->controller->id;    2. 获取动作名  在控制器beforeAction()回调函数中获取动作名:  $name =
  • Android知识总结（二） come_for_dream android
    明天要考试了，速速总结如下   1、Activity的启动模式        standard：每次调用Activity的时候都创建一个（可以有多个相同的实例，也允许多个相同Activity叠加。）        singleTop：可以有多个实例，但是不允许多个相同Activity叠加。即，如果Ac
  • 高洛峰收徒第二期：寻找未来的“技术大牛” ——折腾一年，奖励20万元 gcq511120594 工作项目管理
    高洛峰，兄弟连IT教育合伙人、猿代码创始人、PHP培训第一人、《细说PHP》作者、软件开发工程师、《IT峰播》主创人、PHP讲师的鼻祖！ 首期现在的进程刚刚过半，徒弟们真的很棒，人品都没的说，团结互助，学习刻苦，工作认真积极，灵活上进。我几乎会把他们全部留下来，现在已有一多半安排了实际的工作，并取得了很好的成绩。等他们出徒之日，凭他们的能力一定能够拿到高薪，而且我还承诺过一个徒弟，当他拿到大学毕
  • linux expect heipark expect
    1. 创建、编辑文件go.sh   #!/usr/bin/expect spawn sudo su admin expect "*password*" { send "13456\r\n" } interact    2. 设置权限   chmod u+x go.sh  3.
  • Spring4.1新特性——静态资源处理增强 jinnianshilongnian spring 4.1
    目录 Spring4.1新特性——综述 Spring4.1新特性——Spring核心部分及其他 Spring4.1新特性——Spring缓存框架增强 Spring4.1新特性——异步调用和事件机制的异常处理 Spring4.1新特性——数据库集成测试脚本初始化 Spring4.1新特性——Spring MVC增强 Spring4.1新特性——页面自动化测试框架Spring MVC T
  • idea ubuntuxia 乱码 liyonghui160com
      1.首先需要在windows字体目录下或者其它地方找到simsun.ttf 这个 字体文件。 2.在ubuntu 下可以执行下面操作安装该字体： sudo mkdir /usr/share/fonts/truetype/simsun sudo cp simsun.ttf /usr/share/fonts/truetype/simsun fc-cache -f -v
  • 改良程序的11技巧 pda158 技巧
    有很多理由都能说明为什么我们应该写出清晰、可读性好的程序。最重要的一点，程序你只写一次，但以后会无数次的阅读。当你第二天回头来看你的代码 时，你就要开始阅读它了。当你把代码拿给其他人看时，他必须阅读你的代码。因此，在编写时多花一点时间，你会在阅读它时节省大量的时间。   让我们看一些基本的编程技巧：   尽量保持方法简短 永远永远不要把同一个变量用于多个不同的
  • 300个涵盖IT各方面的免费资源（下）——工作与学习篇 shoothao 创业免费资源学习课程远程工作
    工作与生产效率:   A. 背景声音 Noisli:背景噪音与颜色生成器。 Noizio:环境声均衡器。 Defonic:世界上任何的声响都可混合成美丽的旋律。 Designers.mx:设计者为设计者所准备的播放列表。 Coffitivity:这里的声音就像咖啡馆里放的一样。 B. 避免注意力分散 Self Co
  • 深入浅出RPC uule rpc
    深入浅出RPC-浅出篇 深入浅出RPC-深入篇   RPC Remote Procedure Call Protocol 远程过程调用协议   它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，RPC跨越了传输层和应用层。RPC使得开发
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他