飞桨学院-Python从小白逆袭大神-Day4-《青春有你2》选手识别

---

序言

七日打卡已经过去一半了，今天是第四天的总结啦！如班班所说，这次的内容才是整个打卡过程中，最有收获的噢。不过呢，像小编这种刚刚学了python语法的小小白来说，还是颇有挑战滴！这次主要围绕PaddleHub体验与应用来展开讨论。还是分为四个方面，另外加上小编做作业时踩过的坑，希望大家看后能有收获，哈哈。

深度学习难点

我们还是首先要从技术难点出发，首先我们要先知道当前在技术领域中我们遇到了哪些难题。

计算机视觉领域的难题

在计算机视觉领域我们对图像的处理，像图像的分类，分割，检测…都由于图像物体的尺寸变化范围大，摆放物体的角度，姿态不定，可以出现在图片的任何地方，更何况物体还可以是多个类别。这样多变的情况让我们程序猿在处理过程中极为头疼。

自然语言处理领域的难题

我们都知道，语言的博大精深，特别是我们中文，相同的一句话都有不同的语义，我们在多年的语言环境下，自然可以很快知道意思的。但这让我们计算机来做的话，计算机只能哀叹道：“我太南了”，哈哈哈哈。

像我们刚刚入门的小白只能挠头三连啊，完全不知方向，于是我们的今天的主角——Paddlehub来了，这次小编试过功能后，真是赞啊，太便捷方便了啊~

PaddleHub全景

PaddleHub是啥

PaddleHub就是为了解决对深度学习模型的需求而开发的工具。基于飞桨领先的核心框架，精选效果优秀的算法，提供了百亿级大数据训练的预训练模型，方便用户不用花费大量精力从头开始训练一个模型。
PaddleHub的官网：https://www.paddlepaddle.org.cn/hub

PaddleHub的github地址：https://github.com/PaddlePaddle/PaddleHub
PaddleHub的课程地址：https://aistudio.baidu.com/aistudio/course/introduce/1070

PaddleHub的教程地址：https://aistudio.baidu.com/aistudio/personalcenter/thirdview/79927

PaddleHub的模型地址：https://github.com/PaddlePaddle/PaddleHub/tree/release/v1.6/demo

PaddleHub的效果

下面简单给大家看一下paddlehub的效果。

不止这些！！！还有动物识别，口罩人脸检测，肺炎CT分析，词法分析，情绪识别 我们可以看到paddlehub已经影响到我们生活，医学，防控方面，更多的应用自行了解吧。

PaddleHub的优势

在程序猿行业，有句话不知当讲不讲：代码量与你的发量成反比！ 为了保护我们的头发，哈哈哈，PaddleHub的优势又来啦，我们看一下。
这代码量吃惊吧，十几行代码顶几百行代码。

PaddleHub体验

这么好的东西我们还是要先体验一下吧，下面来咯！

PaddleHub的安装

如果不依赖于aistudio的话，要在本地安装，我们先要配置好环境：Python 3.6以上，PaddlePaddle 1.7以上，操作系统：Linux，Mac，Windows
安装PaddleHub：pip install paddlehub -i
更新PaddleHub：pip install --upgrade paddlehub -i

应用

PaddleHub应用实践

这里我就以作业为例来介绍这个方面吧，我们看一下作业的题目：
PaddleHub之《青春有你2》作业：五人识别
一、任务简介
图像分类是计算机视觉的重要领域，它的目标是将图像分类到预定义的标签。近期，许多研究者提出很多不同种类的神经网络，并且极大的提升了分类算法的性能。本文以自己创建的数据集：青春有你2中选手识别为例子，介绍如何使用PaddleHub进行图像分类任务。

作业代码

#CPU环境启动请务必执行该指令
%set_env CPU_NUM=1 

#安装paddlehub
#!pip install paddlehub==1.6.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
!hub install resnet_v2_50_imagenet

我们要调用paddlehub的模型，需要预安装。
执行结果：

!unzip -o /home/aistudio/file.zip

这条指令是解压我们上传的数据集，这次的作业的数据集是我们自己提供的，需要我们自己爬取，然后打包上传，小编在大佬的帮助下顺利完成了数据集爬取工作。

import paddlehub as hub   #导入包

module = hub.Module(name="resnet_v2_50_imagenet")  #加载预训练模型

由于是图像分类任务，因此我们使用经典的ResNet-50作为预训练模型。PaddleHub提供了丰富的图像分类预训练模型，包括了最新的神经网络架构搜索类的PNASNet，我们推荐您尝试不同的预训练模型来获得更好的性能。

数据准备：

from paddlehub.dataset.base_cv_dataset import BaseCVDataset
   
class DemoDataset(BaseCVDataset):	
   def __init__(self):	
       # 数据集存放位置
       
       self.dataset_dir = "."
       super(DemoDataset, self).__init__(
           base_path=self.dataset_dir,
           train_list_file="dataset/train_list.txt",
           validate_list_file="dataset/validate_list.txt",
           test_list_file="dataset/test_list.txt",
           label_list_file="dataset/label_list.txt",
           )
dataset = DemoDataset()

生成数据读取器

data_reader = hub.reader.ImageClassificationReader(
    image_width=module.get_expected_image_width(),
    image_height=module.get_expected_image_height(),
    images_mean=module.get_pretrained_images_mean(),
    images_std=module.get_pretrained_images_std(),
    dataset=dataset)

生成一个图像分类的reader，reader负责将dataset的数据进行预处理，接着以特定格式组织并输入给模型进行训练。

当我们生成一个图像分类的reader时，需要指定输入图片的大小

策略配置：

config = hub.RunConfig(
    use_cuda=False,                              #是否使用GPU训练，默认为False；
    num_epoch=3,                                #Fine-tune的轮数；
    checkpoint_dir="cv_finetune_turtorial_demo",#模型checkpoint保存路径, 若用户没有指定，程序会自动生成；
    batch_size=3,                              #训练的批大小，如果使用GPU，请根据实际情况调整batch_size；
    eval_interval=10,                           #模型评估的间隔，默认每100个step评估一次验证集；
    strategy=hub.finetune.strategy.DefaultFinetuneStrategy())  #Fine-tune优化策略；

在进行Finetune前，我们可以设置一些运行时的配置，例如如下代码中的配置，表示：

• use_cuda：设置为False表示使用CPU进行训练。如果您本机支持GPU，且安装的是GPU版本的PaddlePaddle，我们建议您将这个选项设置为True；

• epoch：迭代轮数；

• batch_size：每次训练的时候，给模型输入的每批数据大小为32，模型训练时能够并行处理批数据，因此batch_size越大，训练的效率越高，但是同时带来了内存的负荷，过大的batch_size可能导致内存不足而无法训练，因此选择一个合适的batch_size是很重要的一步；

• log_interval：每隔10 step打印一次训练日志；

• eval_interval：每隔50 step在验证集上进行一次性能评估；

• checkpoint_dir：将训练的参数和数据保存到cv_finetune_turtorial_demo目录中；

• strategy：使用DefaultFinetuneStrategy策略进行finetune；

更多运行配置，请查看RunConfig

同时PaddleHub提供了许多优化策略，如AdamWeightDecayStrategy、ULMFiTStrategy、DefaultFinetuneStrategy等，详细信息参见策略

组建Finetune Task:

有了合适的预训练模型和准备要迁移的数据集后，我们开始组建一个Task。

由于该数据设置是一个二分类的任务，而我们下载的分类module是在ImageNet数据集上训练的千分类模型，所以我们需要对模型进行简单的微调，把模型改造为一个二分类模型：

1.获取module的上下文环境，包括输入和输出的变量，以及Paddle Program；
2.从输出变量中找到特征图提取层feature_map；
3.在feature_map后面接入一个全连接层，生成Task；

input_dict, output_dict, program = module.context(trainable=True)
img = input_dict["image"]
feature_map = output_dict["feature_map"]
feed_list = [img.name]

task = hub.ImageClassifierTask(
    data_reader=data_reader,
    feed_list=feed_list,
    feature=feature_map,
    num_classes=dataset.num_labels,
    config=config)

开始Finetune

选择finetune_and_eval接口来进行模型训练，这个接口在finetune的过程中，会周期性的进行模型效果的评估，以便我们了解整个训练过程的性能变化。

run_states = task.finetune_and_eval()

执行结果（这时我已经完成训练）：

预测

当Finetune完成后，我们使用模型来进行预测，先通过以下命令来获取测试的图片

import numpy as np
import matplotlib.pyplot as plt 
import matplotlib.image as mpimg

with open("dataset/test_list.txt","r") as f:
    filepath = f.readlines()

data = [filepath[0].split(" ")[0],filepath[1].split(" ")[0],filepath[2].split(" ")[0],filepath[3].split(" ")[0],filepath[4].split(" ")[0]]

label_map = dataset.label_dict()
index = 0
run_states = task.predict(data=data)
results = [run_state.run_results for run_state in run_states]

for batch_result in results:
    print(batch_result)
    batch_result = np.argmax(batch_result, axis=2)[0]
    print(batch_result)
    for result in batch_result:
        index += 1
        result = label_map[result]
        print("input %i is %s, and the predict result is %s" %
              (index, data[index - 1], result))

执行结果（这是我得出的结果，运气很好，全都对了）：

作业过程中踩过的坑

坑一

因为我用的时候是高峰期，我就用的cpu训练，忘记改了，就报CUDA错误，于是用CPU训练时，要把这个改成True

坑二

相信这个困扰了很多人吧，小编就是其中之一，小编弄了一下午哦，知道是路径错误，但是不知道怎样改，参考一些大佬得出的意见改过也无济于事，原因是：我改过之后没有重启，就还是报错，终于功夫不负有心人，在一次重启后得出了正确结果。
我的是test_list里的路径错误，我开始是没有dataset的，加上后就可以了。

还有些坑，由于提交作业后没有了报错截图，所以就没有一一列出，希望谅解。

总结

这次在作业里，小编也是遇到了不少的问题，本身自身知识浅薄，所以苦干了12小时才做完提交作业，这里我想对刚刚入门的小白们说，遇到困难其实不可怕，在于的是你怕不怕困难，敢不敢花时间解决。好了，今天小编就分享到这里了，希望能够帮助到大家。