【TensorFlow】神经网络中间层截取、可视化中间层结果

神经网络截取中间层

在预测的过程中，想要将神经网络模型的中间层结果获取到，并进行可视化。

训练过程中搭建的模型代码如下：

class_num = 3
base_model = tf.keras.applications.MobileNetV2(input_shape=IMG_SHAPE,
                                               include_top=False,
                                               weights="imagenet")
base_model.trainable = False
model = tf.keras.models.Sequential([
    tf.keras.layers.experimental.preprocessing.Rescaling(1. / 127.5, offset=-1, input_shape=IMG_SHAPE),
    base_model,
    tf.keras.layers.Dense(512, activation="relu"),
    tf.keras.layers.Dropout(0.2),
    tf.keras.layers.GlobalAveragePooling2D(),
    tf.keras.layers.Dense(class_num, activation='softmax'),
])
model.compile(optimizer=tf.optimizers.Adam(0.001),
              loss=tf.keras.losses.CategoricalCrossentropy(),
              metrics=['binary_crossentropy', 'accuracy'])
history = model.fit(train_ds, validation_data=val_ds, epochs=10)
model.save("./models/model.h5")

实现中间层获取的思路如下：

首先在预测之前读取保存的模型文件

model = tf.keras.models.load_model(model_path)

然后构建一个新的模型，结构为读取的原model的一部分，对于正常搭建的神经网络，直接使用 model.layers[m:n] 就可以截取到m到n-1层的网络；
但是在本次实验中，使用了keras中的mobilenetv2作为本次网络搭建中的base_model，虽然base_model有155层，但是将训练完成后保存的模型，在预测时进行读取后，这155层都将被视为一层，该层名称为：mobilenetv2_1.00_224 ，下图为读取model的summary：

也就是说，将155层的mobilenet在此压缩为了1层，在这1层的内部又包含了155层，所以在此处截取网络时，就需要采取一些操作。

首先介绍keras中搭建模型的两个主要方式：序列式和函数式。

1）序列式：像搭积木一样，将所有的层在Sequential中进行依次搭建

model = keras.Sequential([
    keras.layers.Flatten(input_shape=(28, 28)), 
    keras.layers.Dense(128, activation='relu'),  
    keras.layers.Dense(10, activation='softmax')  
])

2）函数式：将网络的先后逻辑在代码中写好，将整个网络的输入和输出赋值给Model函数

inputs = keras.Input(shape=(28, 28))
x = keras.layers.Flatten()(inputs)
x = keras.layers.Dense(128, activation='relu')(x)
outputs = keras.layers.Dense(10, activation='softmax')(x)

model = keras.Model(inputs, outputs)

Keras中的 MobileNetV2 函数生成的是函数式的模型，因此无法直接在序列式中搭建，直接采用下面的方式会出现错误：

new_model = tf.keras.Sequential([
	model.layers[0],
	model.layers[1].layers[0:5],
])

因此采取的截取解决方案如下：

解决方案一

# 获取 model.layers[1]的 0到4层
# 其中f为第0层，m为1到3层， l为第4层
f, *m, l=model.layers[1].layers[0:5]

# 将 model.layers[0](rescaling预处理层) 与 截取的f,*m,l拼接在一起
model_1 = tf.keras.Sequential([
	model.layers[0],
	f,*m,l
])

在上面代码中，model.layers[1] 为 mobilenetv2_1.00_224，model.layers[0]为rescaling预处理层。
思想就是将函数式模型mobilenetv2_1.00_224中的层直接取出来，赋值给f,*m,l 变量，这些变量表示的就是某些具体的层，可以将变量通过Sequential进行组合，搭建出一个子网络。
这个方案有一种缺陷，就是只能根据索引来获取某些层。

解决方案二：

model_slice = tf.keras.models.Model(inputs=model.get_layer("mobilenetv2_1.00_224").input,
                                    outputs=model.get_layer("mobilenetv2_1.00_224").get_layer("Conv1").output,
                                    name="model_slice")
model_2 = tf.keras.Sequential([
    model.get_layer("rescaling"),
    model_slice
])

采用函数式模型，获取mobilenetv2_1.00_224的输入和某一层的输出，组成model_slice，将其作为Sequential的一个元素即可。

可视化

# 打开并读取图片
img_init = cv2.imread(img_path)  
img_init = cv2.resize(img_init, (224, 224))
img = np.asarray(img_init)

# 将图片通过子模型，得到中间层输出model_slice_feature 
model_slice_feature = model_2.predict(img.reshape(1, 224, 224, 3))

# 将model_slice_feature传入可视化函数中进行可视化
visualize_feature_map(model_slice_feature)

# 将图片通过原model，得到预测结果
outputs = model.predict(img.reshape(1, 224, 224, 3))
predict_index = np.argmax(outputs)
predict_label = class_names[predict_index]

可视化函数的代码：

def get_row_col(num_pic):
    squr = num_pic ** 0.5
    row = round(squr)
    col = row + 1 if squr - row > 0 else row
    return row, col


def visualize_feature_map(img_batch):
    feature_map = np.squeeze(img_batch, axis=0)
    print(feature_map.shape)

    feature_map_combination = []
    plt.figure(figsize=(6, 6.5))
    plt.suptitle("Hidden layer feature map")

    num_pic = feature_map.shape[2]
    row, col = get_row_col(num_pic)

    for i in range(0, num_pic):
        feature_map_split = feature_map[:, :, i]
        feature_map_combination.append(feature_map_split)
        plt.subplot(row, col, i + 1)
        plt.imshow(feature_map_split, cmap="gray")
        plt.axis('off')
        plt.title('feature_map_{}'.format(i), fontdict={'size':6})

    plt.savefig('feature_map.png')
    plt.show()

    # 各个特征图按1：1 叠加
    feature_map_sum = sum(ele for ele in feature_map_combination)
    plt.imshow(feature_map_sum)

效果展示：

参考

https://blog.csdn.net/guolindonggld/article/details/106459317