首个深度学习web应用,基于Flask和Keras

缘起

随着疫情缓解,在家自学TF、看看论文然后混吃喝的happy日子被迫结束T T。前往一家互联网公司的web开发组实习。期间,接触到了很多之前完全不了解的方方面面,促使我从程序员职业的角度开始思考自己的未来,这部分另有博客分析。这里主要介绍我利用摸鱼时间把学到的web开发内容和机器学习结合起来,完成的我的第一个web应用!

功能隐约眼熟?

如果看了后面的界面和功能,眼尖的人一定会发现,没错,本应用在结构上参考了塞巴斯蒂安的Python Machine Learning第九章。主要区别有:

  • 我使用的keras预训练模型进行fine tuning,书中使用的scikit;
  • 我使用图片上传,返回图片分类和分类概率,书中是电影评论的情感分析;
  • 我使用了多线程来降低更新模型的等待时间;
  • 我没有使用SQL数据库,而是在文件夹中保存图片。

为什么使用Flask和keras?

使用keras是因为其提供了预训练的MobileNet权重,非常适合拿来迁移学习做fine tunning。这样在CPU上做推理的时候,假设中的用户不会等的想砸电脑。不过我也没有实际去探究哪些预训练的模型做推理效率高。

其实,python进行web开发实在是小众,实习中后端还是用的Java+Spring MVC,前端用的js+VUE。但是Flask作为轻量级的后端框架,最大的好处就是python的后端代码和keras的模型训练等语法可以无缝衔接。并且小白一个人开发整个应用,并不会JS,所以flask的模板引擎jinja2提供了很简易(但丑)的前端,只需掌握基本的html语法就能写出前端。

功能和界面

参考Python Machine Learning第九章,用户使用的流程是

在这里插入图片描述

光秃秃的选择文件表单和上传按钮0.0
在这里插入图片描述

因为后面代码中secure_filename()的存在,这里偷懒,只支持英文命名的JPG和PNG格式图片,后缀不区分大小写。如果上传中文,会显示“only support ASCII name”。
在这里插入图片描述

这一步

  1. 图片上传至./uploads保存;
  2. ./uploads取出图片放入./static/images,并用保存的MobileNet权重对图片进行推理;
  3. 前端显示上传图片、分类和分类概率;

用户可以根据自己的判断选择应用分类的正确或者错误,用于给图片打标签,后续扩充训练集,更新模型权重。

点击确认后
  1. 点击确认后,如果存在同名文件会提示"File already exists or has the same name";
  2. 否则根据用户选择的CorrectIncorrect将新图片移入./static/image/Cat或者./static/image/Dog。相当于将确认图片打上标签,扩充训练集,用于更新模型权重。
  3. 模型权重更新需要重新训练,耗时较长,故使用子线程后台运行,先返回前端,再完成更新。

Note: 上文中的相对路径都是相对于app.py的。

项目结构和代码

目录结构

│  app.py
│  repredict.py                       加载权重用于预测
│  TryMobile.py                       更新权重
├─static
│  │  cats_dog_mobileNet.h5            用于预测的权重
│  │  files_cat.npy
│  │  files_dog.npy                    保存新增标签图片path的numpy数组
│  │  style.css                        从flask教程白嫖来的样式表
│  └─images
│      │                               存放用户未提供反馈,没打标签的图片
│      ├─Cat
│      │                               存放标签为猫的图片 
│      └─Dog
├─templates
│      show.html
│      thanks.html
│      upload.html
└─uploads                               保存所有上传图片

代码

请见我的github仓库 MobileNet_Flask_Web_Application 欢迎各位大佬来star、提issue,共同学习~

Fine-tunning

使用Keras自带的Mobilenet在ImageNet上训练的.h5文件,去掉其分类器部分:最后的GAP层和Softmax层,替换为两层FC分类器

 x = Dense(1024, activation='relu')(x)
    #添加类别分类器,只有两类
classifier = Dense(1, activation='sigmoid')(x)

最后一层的激活函数使用sigmoid,用于二分类(原来是1000类)。使用2000张猫和狗的图片作为训练集,1000张做验证集,在CPU上用了约20分钟5轮将验证集精度达到90%以上。

总结

整个项目的功能到实现都是我拍脑袋想的,而且我是零web开发基础,所以和实际应用肯定有很多不符之处,还要很多可以改进之处,这里略举几例:

  • 用户恶意打标签可以让权重崩坏
  • 图片似乎保存太多次,占空间,而且IO操作拖慢速度
  • 最后的更新权重线程还是要结束之后才能重新用于预测

实习期间的收获有:

  1. 学习SQL基础,对数据库和后端的关系有了基本了解,不过在这个项目中并没有用上;
  2. 学习Flask框架,并用于开发博客、AI应用,实践了将keras模型嵌入到web应用中;
  3. 学习html基础,能根据手册大致读懂文件;

本文同时发布于知乎,CSDN。

你可能感兴趣的:(首个深度学习web应用,基于Flask和Keras)