首个深度学习web应用，基于Flask和Keras

缘起

随着疫情缓解，在家自学TF、看看论文然后混吃喝的happy日子被迫结束T T。前往一家互联网公司的web开发组实习。期间，接触到了很多之前完全不了解的方方面面，促使我从程序员职业的角度开始思考自己的未来，这部分另有博客分析。这里主要介绍我利用摸鱼时间把学到的web开发内容和机器学习结合起来，完成的我的第一个web应用！

功能隐约眼熟？

如果看了后面的界面和功能，眼尖的人一定会发现，没错，本应用在结构上参考了塞巴斯蒂安的Python Machine Learning第九章。主要区别有：

• 我使用的keras预训练模型进行fine tuning，书中使用的scikit；
• 我使用图片上传，返回图片分类和分类概率，书中是电影评论的情感分析；
• 我使用了多线程来降低更新模型的等待时间；
• 我没有使用SQL数据库，而是在文件夹中保存图片。

为什么使用Flask和keras？

使用keras是因为其提供了预训练的MobileNet权重，非常适合拿来迁移学习做fine tunning。这样在CPU上做推理的时候，假设中的用户不会等的想砸电脑。不过我也没有实际去探究哪些预训练的模型做推理效率高。

其实，python进行web开发实在是小众，实习中后端还是用的Java+Spring MVC，前端用的js+VUE。但是Flask作为轻量级的后端框架，最大的好处就是python的后端代码和keras的模型训练等语法可以无缝衔接。并且小白一个人开发整个应用，并不会JS，所以flask的模板引擎jinja2提供了很简易（但丑）的前端，只需掌握基本的html语法就能写出前端。

功能和界面

参考Python Machine Learning第九章，用户使用的流程是

在这里插入图片描述

光秃秃的选择文件表单和上传按钮0.0

在这里插入图片描述

因为后面代码中secure_filename()的存在，这里偷懒，只支持英文命名的JPG和PNG格式图片，后缀不区分大小写。如果上传中文，会显示“only support ASCII name”。

在这里插入图片描述

这一步

1. 图片上传至./uploads保存；
2. 从./uploads取出图片放入./static/images，并用保存的MobileNet权重对图片进行推理；
3. 前端显示上传图片、分类和分类概率；

用户可以根据自己的判断选择应用分类的正确或者错误，用于给图片打标签，后续扩充训练集，更新模型权重。

点击确认后

1. 点击确认后，如果存在同名文件会提示"File already exists or has the same name"；
2. 否则根据用户选择的Correct或Incorrect将新图片移入./static/image/Cat或者./static/image/Dog。相当于将确认图片打上标签，扩充训练集，用于更新模型权重。
3. 模型权重更新需要重新训练，耗时较长，故使用子线程后台运行，先返回前端，再完成更新。

Note: 上文中的相对路径都是相对于app.py的。

项目结构和代码

目录结构

│  app.py
│  repredict.py                       加载权重用于预测
│  TryMobile.py                       更新权重
├─static
│  │  cats_dog_mobileNet.h5            用于预测的权重
│  │  files_cat.npy
│  │  files_dog.npy                    保存新增标签图片path的numpy数组
│  │  style.css                        从flask教程白嫖来的样式表
│  └─images
│      │                               存放用户未提供反馈，没打标签的图片
│      ├─Cat
│      │                               存放标签为猫的图片 
│      └─Dog
├─templates
│      show.html
│      thanks.html
│      upload.html
└─uploads                               保存所有上传图片

代码

请见我的github仓库 MobileNet_Flask_Web_Application 欢迎各位大佬来star、提issue，共同学习~

Fine-tunning

使用Keras自带的Mobilenet在ImageNet上训练的.h5文件，去掉其分类器部分：最后的GAP层和Softmax层，替换为两层FC分类器

 x = Dense(1024, activation='relu')(x)
    #添加类别分类器，只有两类
classifier = Dense(1, activation='sigmoid')(x)

最后一层的激活函数使用sigmoid，用于二分类（原来是1000类）。使用2000张猫和狗的图片作为训练集，1000张做验证集，在CPU上用了约20分钟5轮将验证集精度达到90%以上。

总结

整个项目的功能到实现都是我拍脑袋想的,而且我是零web开发基础，所以和实际应用肯定有很多不符之处，还要很多可以改进之处，这里略举几例：

• 用户恶意打标签可以让权重崩坏
• 图片似乎保存太多次，占空间，而且IO操作拖慢速度
• 最后的更新权重线程还是要结束之后才能重新用于预测

实习期间的收获有：

1. 学习SQL基础，对数据库和后端的关系有了基本了解，不过在这个项目中并没有用上；
2. 学习Flask框架，并用于开发博客、AI应用，实践了将keras模型嵌入到web应用中；
3. 学习html基础，能根据手册大致读懂文件；

本文同时发布于知乎，CSDN。