keras 用迁移学习做图片分类+数据增强

keras 用迁移学习做图片分类+数据增强（天池雪浪制造复赛0.71 top50）

---

本文结构，首先构建模型，从文件夹中生成数据迭代器。然后冻结所有特征提取层，训练分类层的权重。 训练50个epoch后，"解冻"所有特征提取层，对所有的层都进行finetune。其中使用到数据增强，早停止，学习率衰减等技巧。在天池雪浪制造大赛上获得不错的结构，比赛详情见：比赛链接

• 小trick：图片resize使用的方法是pillow 中的‘antialias'，使用其他方法会产生纹波。这个resize方法在keras里面没有，需要手动添加。在"C:\Users\tunan\AppData\Local\Continuum\anaconda3\envs\tensorflow\lib\site-packages\keras_preprocessing\image.py"文件中，第34行加上: 'antialias':pil_img.ANTIALIAS。如图所示、

  
  
  show.jpg

---

构建模型

• 导入inception-v3，不包含头部的。对于输入图片为299*299,提取特征维数是7*7*2048,使用GlobalAveragePooling,特征转化到1*1*2048维，即一张图片用2048维的特征来表示。
• 然后使用dropout或者BatchNormalization,为了防止过拟合，与加速训练（BN）
• 加上一层全连接，节点数为class_num = 11,用于分类。激活函数用softmax。（也可以多加一层全连接再分类）

    basic_model = inception_v3.InceptionV3(include_top = False,weights = 'imagenet')
    feature = GlobalAveragePooling2D()(basic_model.output)
    x = Dropout(0.5)(feature)
    outputs = Dense(11,activation = 'softmax',
                    kernel_initializer = 'TruncatedNormal')(x)
    model = Model(inputs = basic_model.inputs,outputs = outputs)

构建数据生成器

• 先将训练测试图片保存到train,val文件夹中。train/val文件夹下分别包括11个子文件夹，每个子文件夹包含一类图片
  --train
  --class1
  --class2
  ...

• 使用keras.ImageDataGenerator配置迭代器train_gen，其中加上水平/垂直翻转，旋转拉伸方法进行数据增强。可以根据具体图片选择数据增强的方法。

• 从文件夹中生成图片迭代器，train_gen.flow_from_directory(path),其中用classes列表指定文件夹名与类别id(0,1,2...)的对应关系

    train_gen = ImageDataGenerator(
        preprocessing_function = inception_v3.preprocess_input,
        horizontal_flip = True, 
        vertical_flip = True,
        rotation_range=30,
        shear_range=0.1
    )
    classes = ['norm']+["defect_"+str(i+1) for i in range(10)]
    train_data_gen = train_gen.flow_from_directory(train_path,
                                        shuffle = True,
                                        batch_size = batch_size,
                                        class_mode = 'categorical',
                                        target_size = input_size,
                                        classes = classes,
                                        interpolation='antialias')

对最后一层全连接进行训练

• 冻结前面所有的inception层
• 配置模型的训练过程，使用Adam优化器，categorical_entropyloss做损失函数(就是logloss)
• 设置回调函数，训练最后一层只用ModelCheckpoint锚点保存模型。每次都保存当前最好的模型。

    for layer in basic_model.layers:
        layer.trainable = False
      #create callback function including early stop,lr_decay,checkpoint
    log_dir = 'log1\\'
    checkpoint = ModelCheckpoint(log_dir + 'ep{epoch:03d}-loss{loss:.3f}-val_loss{val_loss:.3f}.h5',monitor='val_loss', save_weights_only=False, save_best_only=True, period=3)
     if True:
        model.compile(optimizer=Adam(lr=1e-3), loss="categorical_crossentropy")
        model.fit_generator(train_data_gen,
                steps_per_epoch=max(1, train_data_gen.n//batch_size),
                validation_data=val_data_gen,
                validation_steps=max(1, val_data_gen.n//batch_size),
                epochs=50,
                initial_epoch=0,
                callbacks=[checkpoint])
        model.save(log_dir + 'trained_weights_stage_1.h5')

对前面的inception层进行finetune

• 对inception层解冻,trainable = True
• 回调函数使用"早停止"，"学习率递减"，"模型断点保存"，使每次保存最好的模型，且模型一定epoch后不再变好时减小学习率继续训练，多个epoch后不再变好后，用早停止结束训练。
• 配置模型，使用很小的学习率进行训练。lr = 1e-4。

 for i in range(len(model.layers)):
            model.layers[i].trainable = True
        model.compile(optimizer=Adam(lr=1e-4), loss='categorical_crossentropy') 
        # recompile to apply the change
        print('Unfreeze all of the layers.')
        print('Train on {} samples, val on {} samples, with batch size {}.'.format(train_data_gen.n, val_data_gen.n, batch_size))
        model.fit_generator(train_data_gen,
            steps_per_epoch=max(1, train_data_gen.n//batch_size),
            validation_data=val_data_gen,
            validation_steps=max(1, val_data_gen.n//batch_size),
            epochs=100,
            initial_epoch=50,
            callbacks=[checkpoint, reduce_lr, early_stopping])
        model.save(log_dir + 'trained_weights_final.h5')

---

结果

3千多张图片，在1080ti显卡下大概要跑10个小时。在天池雪浪制造赛最后得到的线上结果0.71，与我另外目标检测的模型融合后结果0.73。

output.png