第1篇 Fast AI深度学习课程——快速构建图像分类网络

本节课程将针对Kaggle竞赛中的Dogs vs. Cats,利用Fast AI搭建一个图像分类器。视频课程对应的Notebook是lesson1.ipynb中的改变学习速率及之前的部分。主要内容是:

  • 利用Fast AI搭建图片分类网络。
  • 如何选择学习速率。

事实上,利用Fast AI搭建网络,然后训练预测,是一件相对简单的事情,简单到只需要三行代码就可实现。

data = ImageClassfierData.from_paths(PATH, tfms=tfms_from_model(arch, sz))
learn = Convlearner.pretrained(arch, data, precompute=True)
learn.fit(0.01, 2)

代码逻辑

看下来代码逻辑也非常清晰:

1. 明确在某数据集上进行训练
  • 数据集的路径由变量PATH指定,其目录的组织方式如下:

    train  valid   models  test  sample

    其中train、valid、test分别存放了训练数据、验证数据、测试数据;其下又有各类图片的子目录。models是后续调用learn.save()时模型参数存放的目录。对本例而言train目录下有cats、dogs两个子目录,每个子目录下大致有11500张图片。valid目录下,cats、dogs分别有1000张图片。
    上述路径存储方式是一种通用的目录结构,为大多数深度学习框架所支持;另一种方式是以csv文件记录数据形式,将在第二节课中看到。

  • 函数参数tfms限定了对数据所做的基本预处理操作,以使得数据满足网络的输入要求。本例中所选网络架构为arch=resnet34,输入图像的长宽尺寸均为sz=224

2. 构造分类器
  • 按照指定的网络架构,根据训练数据,构造分类器。由于本例中采用了在ImageNet数据集上训练好的分类网络,因此采用pretrained()方法。这样,只需训练最后的全连接层即可。

  • 由于只需训练最后面的全连接层,因此由已有的卷积核参数生成的结果保持不变,所以在此设置precompute=True

3. 开始训练
  • fit函数的第一个参数0.01为深度学习网络的超参数:学习速率,即每次优化损失函数时,沿梯度方向前进的步长。后续课程会给出一个确定初始值的方法。

  • fit函数的第二个参数2,在此可以简单地理解为将遍历数据集两次。该值和后续的一个额外参数cycle_len会有关联。

学习速率设定

课程中依据2015年的一篇论文Cyclical Learning Rates for Training Neural Networks,给出了超参数学习速率的选择方法:learn.lr_find()。方法描述如下:

将学习速率设置为小值,以每一步批量优化为步骤,逐步增大学习速率,直至损失函数不再降低。此时选择损失函数降低速率较大、学习速率也较大的值。

原论文中建议选择使损失函数降低较为陡峭额值作为学习速率,Fast AI的开发者则倾向于选择一个比上述值较大的值,后续课程会解释相关理念。如下图示,原文可能倾向于选择 1 0 − 3 10^{-3} 103,Fast AI倾向于选择 1 0 − 2 10^{-2} 102

第1篇 Fast AI深度学习课程——快速构建图像分类网络_第1张图片
图 1. 损失函数-学习速率曲线

一些Jupyter Notebook的小技巧

  • 按h可显示快捷键提示页面。
  • tab:代码补全。
  • shift+tab:显示函数提示,按不同次数的tab,可有详细程度不同的提示。
  • 在命令前放置?,运行后会显示相关提示;放置??会显示相关函数的源代码。
  • !: 用于执行bash命令。

一些有用的链接

  • 深度残差网络 : 本节课程中所用ResNet的详细信息。
  • 课程wiki : 本节课程的一些相关资源,包括课程笔记、课上提到的博客地址等。

你可能感兴趣的:(深度学习,Fast.AI)