直播预告!生鲜与零售商品识别系统产业实践与部署详解

生鲜零售作为民生消费的重要一环,在促进行业新消费升级的进程中有着至关重要的作用。在超市等无人零售场景中,目前结算方式主要有以下几种:

直播预告!生鲜与零售商品识别系统产业实践与部署详解_第1张图片但是以上几种方法存在如下缺点:

  • 条形码方式:对于成品包装的商品较为成熟,但生鲜产品本身“无码可扫”;
  • RFID方式:所需的额外费用难以长期承担;
  • 生鲜称重方式:对于相同品种不同单价的商品无法很好区分,需要人工辨别商品品种,效率较低。

因此,选择一种既能大规模支持各种商品识别,又能方便管理,同时维护成本不高的识别系统,显得尤为重要。

针对以上的行业需求,飞桨联合Intel提供了一套基于飞桨图像分类开发套件PaddleClas和OpenVINO™工具套件的生鲜与零售商品识别系统,满足商品识别场景需要兼顾扩展性的要求。在此方案中,只需训练一套模型,在后续使用过程中,无需频繁重新训练模型, 仅需要在检索库中,配置少量有代表性的新增产品图像,就能够很好地解决新增商品问题,同时也无需添加辅助设备,极大降低了维护及使用成本。

项目链接

https://aistudio.baidu.com/projectdetail/6649316

本项目中,飞桨联合Intel建设了生鲜与零售商品识别系统产业实践范例,基于PP-ShiTuV2 Pipeline详解模型训练,新品种入库,以及如何基于Intel OpenVINO™快速部署,优化CPU推理任务性能,极致利用Intel x86硬件资源。

场景难度

  • 物体形状千差万别,如何找到待检测的商品?
  • 商品及生鲜品种繁多,如何准确识别对应种类?
  • 使用过程中,商品及生鲜品类迭代速度快,如何减少模型更新成本?

方案设计

如图所示,针对以上问题,我们使用图中的Pipeline以解决上述问题。整个Pipeline中,主要分为三部分:

主体检测

检测出待识别的商品,去掉冗余的背景信息,提高生鲜品识别的精度;

特征提取

将待识别的生鲜品图像进行提取特征;

检索模块

将待检索的特征与库中的生鲜品特征比对,得到待检索生鲜品的标签。直播预告!生鲜与零售商品识别系统产业实践与部署详解_第2张图片

模型优化策略和效果

主体检测

主题检测是目前应用非常广泛的一种检测技术,它指的是检测出图片中一个或者多个主体的坐标位置,然后将图像中的对应区域裁剪下来进行识别。主体检测是识别任务的前序步骤,输入图像经过主体检测后再进行识别,可以过滤复杂背景,有效提升识别精度。考虑到检测速度、模型大小、检测精度等因素,最终选择 PaddleDetection 自研的轻量级模型 PicoDet-LCNet_x2_5 作为PP-ShiTuV2 的主体检测模型,PicoDet系列模型融合了ATSS、Generalized Focal Loss、余弦学习率策略、Cycle-EMA、轻量级检测 head等优化算法,此外为了更好地兼顾检测速度与效果,PicoDet-LCNet_x2_5将neck 中的 CSP module 换成了LCNet module。

特征提取

特征提取是图像识别中的关键一环,它的作用是将输入的图片转化为固定维度的特征向量,用于后续的向量检索。考虑到特征提取模型的速度、模型大小、特征提取性能等因素,最终选择 PaddleClas 自研的PPLCNetV2_base作为特征提取网络。PP-LCNetV2 模型是在 PP-LCNetV1 的基础上优化而来,主要使用重参数化策略组合了不同大小卷积核的深度卷积,并优化了点卷积、Shortcut等。相比 PP-ShiTuV1 所使用的 PPLCNet_x2_5, PPLCNetV2_base 基本保持了较高的分类精度,并节省了40%的推理时间。

模型部署

使用OpenVINO ™作为推理后端, 倍数级提升任务在CPU侧的处理速度。

采用通用性极高的x86的平台作为模型部署设备, 可充分利用并实现多任务负载,无需购置额外的加速卡设备,大大节省项目成本。

本项目的最终部署环境为:Intel x86平台设备。 考虑开发便捷性,本次示例使用python部署开发环境,该系统是商品检测、商品特征提取以及商品检索三大任务所构建的Pipeline,可以实现基于本地数据仓库的轻量化零售商品识别系统。在星河社区也提供了完整的使用示例与开发说明,可参考该教程快速学习,并针对实际项目进行开发和集成。

直播预告!生鲜与零售商品识别系统产业实践与部署详解_第3张图片

精彩课程预告

为了让小伙伴们更便捷地应用范例教程,OpenVINO™软件开发工程师Ethan将于8月31日(周四)19:00为大家深度解析从数据准备、方案设计到模型优化部署的开发全流程,手把手教大家进行代码实践。

直播预告!生鲜与零售商品识别系统产业实践与部署详解_第4张图片

你可能感兴趣的:(人工智能,百度,paddlepaddle,文心一言,飞桨)