随着疫情缓解,在家自学TF、看看论文然后混吃喝的happy日子被迫结束T T。前往一家互联网公司的web开发组实习。期间,接触到了很多之前完全不了解的方方面面,促使我从程序员职业的角度开始思考自己的未来,这部分另有博客分析。这里主要介绍我利用摸鱼时间把学到的web开发内容和机器学习结合起来,完成的我的第一个web应用!
如果看了后面的界面和功能,眼尖的人一定会发现,没错,本应用在结构上参考了塞巴斯蒂安的Python Machine Learning第九章。主要区别有:
使用keras是因为其提供了预训练的MobileNet权重,非常适合拿来迁移学习做fine tunning。这样在CPU上做推理的时候,假设中的用户不会等的想砸电脑。不过我也没有实际去探究哪些预训练的模型做推理效率高。
其实,python进行web开发实在是小众,实习中后端还是用的Java+Spring MVC,前端用的js+VUE。但是Flask作为轻量级的后端框架,最大的好处就是python的后端代码和keras的模型训练等语法可以无缝衔接。并且小白一个人开发整个应用,并不会JS,所以flask的模板引擎jinja2提供了很简易(但丑)的前端,只需掌握基本的html语法就能写出前端。
参考Python Machine Learning第九章,用户使用的流程是
光秃秃的选择文件表单和上传按钮0.0
因为后面代码中secure_filename()
的存在,这里偷懒,只支持英文命名的JPG和PNG格式图片,后缀不区分大小写。如果上传中文,会显示“only support ASCII name”。
这一步
./uploads
保存;./uploads
取出图片放入./static/images
,并用保存的MobileNet权重对图片进行推理;用户可以根据自己的判断选择应用分类的正确或者错误,用于给图片打标签,后续扩充训练集,更新模型权重。
Correct
或Incorrect
将新图片移入./static/image/Cat
或者./static/image/Dog
。相当于将确认图片打上标签,扩充训练集,用于更新模型权重。Note: 上文中的相对路径都是相对于app.py的。
│ app.py
│ repredict.py 加载权重用于预测
│ TryMobile.py 更新权重
├─static
│ │ cats_dog_mobileNet.h5 用于预测的权重
│ │ files_cat.npy
│ │ files_dog.npy 保存新增标签图片path的numpy数组
│ │ style.css 从flask教程白嫖来的样式表
│ └─images
│ │ 存放用户未提供反馈,没打标签的图片
│ ├─Cat
│ │ 存放标签为猫的图片
│ └─Dog
├─templates
│ show.html
│ thanks.html
│ upload.html
└─uploads 保存所有上传图片
请见我的github仓库 MobileNet_Flask_Web_Application 欢迎各位大佬来star、提issue,共同学习~
使用Keras自带的Mobilenet在ImageNet上训练的.h5文件,去掉其分类器部分:最后的GAP层和Softmax层,替换为两层FC分类器
x = Dense(1024, activation='relu')(x)
#添加类别分类器,只有两类
classifier = Dense(1, activation='sigmoid')(x)
最后一层的激活函数使用sigmoid,用于二分类(原来是1000类)。使用2000张猫和狗的图片作为训练集,1000张做验证集,在CPU上用了约20分钟5轮将验证集精度达到90%以上。
整个项目的功能到实现都是我拍脑袋想的,而且我是零web开发基础,所以和实际应用肯定有很多不符之处,还要很多可以改进之处,这里略举几例:
实习期间的收获有: