Image classification with FastAI0.7, Colab and Python3(Dogs&Cats)

本文主要讲述在Colab和python3的环境中使用FastAI进行图像分类的经过。

Note: To use Google Colab with FastAI v1, We should specify the version of torch and fastai.

注意点：使用FastAI v1在安装时，需要指定以前的版本号，否则会出现一些不太好处理的小问题。

概要：FastAI是一个简便深度学习开源库。colab则是由google公司提供的免费代码作业本，类似jupyter notebook。使用这两个工具以及预训练的resnet34进行图像分类。

1.新建一个作业本(.ipynb文件)

菜单栏里面 【修改】->【笔记本设置】

如图选择Python3运行环境和GPU

2.初始化FastAI相关环境

复制以下代码到代码窗口中，并运行。

# http://pytorch.org/

from os.path import exists

from wheel.pep425tags import get_abbr_impl, get_impl_ver, get_abi_tag

platform = '{}{}-{}'.format(get_abbr_impl(), get_impl_ver(), get_abi_tag())

cuda_output = !ldconfig -p|grep cudart.so|sed -e 's/.*\.\([0-9]*\)\.\([0-9]*\)$/cu\1\2/'

accelerator = cuda_output[0] if exists('/dev/nvidia0') else 'cpu'

!pip install torch==0.4.1

!pip install torchtext==0.2.3

import torch

print(torch.__version__)

print(torch.cuda.is_available())

print(torch.backends.cudnn.enabled)

#!pip install fastai

!pip install torchvision fastai==0.7

import fastai

from fastai import *

#from fastai.vision import *

Colab中，代码框中行首的“！”代表执行shell命令

3.导入程序使用的package

from matplotlib import pyplot as plt

# Put these at the top of every notebook, to get automatic reloading # and inline plotting

%reload_ext autoreload

%autoreload 2

%matplotlib inline

# This file contains all the main external libs we'll use

# from fastai.imports import *

from fastai.transforms import *

from fastai.conv_learner import *

from fastai.model import *

from fastai.dataset import *

from fastai.sgdr import *

from fastai.plots import *

4.下载dataset数据文件到工作环境中

!wget http://files.fast.ai/data/dogscats.zip

5.配置目录

PATH = "/content/dogscats/"

sz=224

colab中默认目录为/content

6.解压缩文件

!unzip dogscats.zip

7.检查文件

import os

!echo $PWD

files = os.listdir(f'{PATH}valid/cats')[:5]

files

如果文件解压成功则可以看到取到的图片，然后显示其中一张图片。

img = plt.imread(f'{PATH}valid/cats/{files[0]}')

plt.imshow(img)

如果一切ok，则可以看到一张猫咪的图片显示出来。

8.进行训练，并显示过程

arch=resnet34

data=ImageClassifierData.from_paths(PATH, tfms=tfms_from_model(arch,sz,aug_tfms=transforms_side_on, max_zoom=1.1))

learn=ConvLearner.pretrained(arch,data,precompute=True)

learn.fit(0.01,1)

一切顺利的话就可以看到训练的过程和训练的结果了。

这里要注意的就是，如果learn.fit发生了error。多半是由于前面的环境没有配置好，所安装的程序包版本不兼容。一种处理方法就是把learn.metrics=[]置空，这样做可以不报错，但是输出结果中的精确度accuracy将不能显示。所以教程样例的part1还是推荐安装torch0.4和fastai0.7，这样就可以有完整的输出信息了。

这里learn.fit()中的第二个参数是epoch

ConvLearner.pretrained中的precompute参数是预计算，也就是使用预训练的resnet34的参数进行微调，这种模式下数据增强参数aug_tfms将无效。

如果想用最新的FastAI v1.0来跑可以参看
Image classification with FastAI1.0.x, Colab and Python3(Dogs&Cats)

参考：

https://forums.fast.ai/t/google-colab-fastai-setup/27167
https://course.fast.ai/start_colab.html
https://www.kaggle.com/hortonhearsafoo/fast-ai-lesson-1
https://towardsdatascience.com/fast-ai-season-1-episode-2-1-e9cc80d81a9d