120种小狗图像傻傻分不清?用fastai训练一个分类器

120种小狗图像傻傻分不清?用fastai训练一个分类器_第1张图片

 

作者:一杯奶茶的功夫

链接:https://www.jianshu.com/p/ab35ed21df87

 

程序员转行学什么语言?

https://edu.csdn.net/topic/ai30?utm_source=csdn_bw

 

 

这篇文章会讲解如何制作能够分类120种小狗的图像分类器。

这篇文章中所讲述的内容都是基于colab notebook和fastai技术的深度学习的应用。

为什么使用colab?

  • 使用colab的好处是,你不需要有任何显卡GPU,colab中提供了一块免费的k80带12G显存的GPU

  • colab是google提供的一个免费的Jupyter notebook的环境,可以省去安装它的功夫

为什么使用fastai?

  • fastai是一种超级简洁的深度学习工具,代码上甚至比当前Keras还要简洁。

  • 底层是pytorch,能够提供高速的处理性能。

和之前文章中的两个物种(猫和狗)的分类略有不同,这次使用的数据集全部是狗,需要把这些狗分到不同的类别中。也就是说,图片之间特征的区别的差异要比之前猫和狗分类的来的更加细微。

好吧,接下来我们看看如何动手制作。

1.在colab的作业本中配置fastai的环境

 

!curl https://course.fast.ai/setup/colab | bash

120种小狗图像傻傻分不清?用fastai训练一个分类器_第2张图片

2.导入fastai包

 

from fastai import *
from fastai.vision import *

3.加载kaggle.json

这里我们准备从kaggle下载所需要的狗的数据集,如果你可以从其他地方得到数据集,那么可以省略步骤3和4,按照自己的方法在环境中导入数据集即可。

 

!mkdir /content/.kaggle/
!mkdir /content/data/dogsbreed/
PATH = "/content/data/dogsbreed/"
from google.colab import files
# load from upload dialog
uploaded = files.upload()
for fn in uploaded.keys():
  with open(f'/content/.kaggle/{fn}''wb'as f:
    f.write(uploaded[fn])

4.安装kaggle环境

 

!chmod 600 /content/.kaggle/kaggle.json

!pip install kaggle
!cp /content/.kaggle/kaggle.json ~/.kaggle/kaggle.json
!kaggle config set -n path -v{/content}

import kaggle
!kaggle competitions download -p /content/data/dogsbreed/ dog-breed-identification
 

120种小狗图像傻傻分不清?用fastai训练一个分类器_第3张图片

从结果中可以看到,我们已经从kaggle成功的下载了数据集文件。

5.验证GPU

 
torch.cuda.is_available()
#True
torch.backends.cudnn.enabled
#True

120种小狗图像傻傻分不清?用fastai训练一个分类器_第4张图片

6.解压缩文件

cd /content/data/dogsbreed && unzip labels.csv.zip
cd /content/data/dogsbreed && unzip sample_submission.csv.zip
cd /content/data/dogsbreed && unzip test.zip
cd /content/data/dogsbreed && unzip train.zip

7.读取label.csv

labels_df=pd.read_csv(f'{PATH}labels.csv')
labels_df.head()

120种小狗图像傻傻分不清?用fastai训练一个分类器_第5张图片

这里我们可以看到labels.csv中的前五条数据

8.查看狗的类别

labels_df.pivot_table(index='breed',aggfunc=len).sort_values('id',ascending=False)

120种小狗图像傻傻分不清?用fastai训练一个分类器_第6张图片

这里可以看到一共有120行数据,也就是120种狗的类别,以及每种类别里面有多少条数据。

9.加载数据集并显示

data = ImageDataBunch.from_csv(
                      PATH,
                      folder='train',
                      valid_pct=0.2,
                      ds_tfms=get_transforms(),
                      size=224,
                      test='test',
                      suffix='.jpg',
                      bs=64).normalize(imagenet_stats)
data.show_batch(rows=3, figsize=(10,12))

120种小狗图像傻傻分不清?用fastai训练一个分类器_第7张图片

如果一切顺利,这里会显示出9张狗的图片,并且图片上方会显示相应的狗的类别。

如果只显示了图片,而图片上的标签不是类别的话,那说明数据导入部分存在问题。

OK,我们继续下一步。

10.下载与训练模型并微调

learner = create_cnn(data,models.resnet101,metrics=[accuracy])
learner.fit_one_cycle(10)

120种小狗图像傻傻分不清?用fastai训练一个分类器_第8张图片

这里我们设置了10个epoch,会稍微花费点时间大约40分钟。

可以看到,在最后一个epoch时候,我们的精度在89%。当然我们还可以继续调优:)

或者直接从零开始对每一层权重的训练,这都是可以的。

到这里我们就已经成功的完成了一个120种狗狗的图片分类器的制作啦,怎么样?是不是很简单?希望这篇文章可以给每一个前来阅读的朋友带来收获,对深度学习,图像分类有一个直接的体会。

如果有问题,欢迎来评论区留言讨论^^

 

(本文为AI科技大本营转载文章,转载请联系原作者)

.

人工智能的现状及今后发展趋势如何? 

https://edu.csdn.net/topic/ai30?utm_source=csdn_bw

 

群招募

 

扫码添加小助手微信,回复:公司+研究方向(学校+研究方向),邀你加入技术交流群。技术群审核较严,敬请谅解。

640?wx_fmt=jpeg

推荐阅读:

  • 2018 Python开发者大调查:Python和JavaScript最配?

  • 十大经典排序算法动画与解析,看我就够了

  • 访问量最高超7百万的Stack Overflow问题竟然是...

  • 算法警告!该图片涉嫌违规不予显示

  • 交易机器人春天已来?先看完这篇再说吧

  • 30 秒?!Chrome 插件带你速成编程学习 | 程序员硬核评测

  • 为什么程序员下班后只关显示器从不关电脑?

  • 全面剖析企业私有云

  • 月入5万,程序员夫人们过上"贵妇"生活了吗?

                         640?wx_fmt=png

点击“阅读原文”,查看历史精彩文章。

你可能感兴趣的:(120种小狗图像傻傻分不清?用fastai训练一个分类器)