Sophon AutoCV Q&A大放送：如何加速视觉模型生产和落地（下篇）

本期是Sophon AutoCV的第二期Q&A大放送，继上篇对数据标注、模型训练、上架及结果评估等模型生产流程进行解答后，本期将聚焦模型与实际生产业务相结合的业务场景搭建、模型发布、告警等后续流程。客户Q1:在模型训练完后，如何应用到实际的业务中去呢？星小环：相较于大多数厂商将模型训练完之后，直接发布API或封装SDK部署的方式不同的是：我们发现，在很多业务逻辑没办法通过这个方式实现，以及模型的前后处理工作。举个例子来说，当实际业务需要一个人流密度预警的功能，基础模型训练的是行人检测，但是行人检测需要配合业务逻辑，即超过多少人产生告警、什么时候告警，这个需要定制化写代码实现。客户Q2：直接发布模型API或者SDK后，还是需要定制化开发来满足业务需求。那你们怎么解决呢？星小环：我们平台把模型的业务化适配过程叫做搭建场景，一个场景实现一个或多个业务功能，下面进行演示：

您可以通过搭建DAG图的方式来串联你的业务逻辑，比如多个模型分支怎么处理，有类似上面的业务定制逻辑的时候，也可以使用函数算子来自定义函数逻辑。当搭建好静态的场景，需要给这个场景注入数据，就需要把监控设备对接到平台，当前我们平台支持主流的视频设备协议一键加入平台，来创建具体的应用产生消息通知。我们平台初始化预置了一些标准的场景可以直接使用。

客户Q3：实例产生的告警数据怎么对外展示呢？星小环：有两种方式可以展示，一是在构建场景的时候可以自定义一个仪表盘来查看，二是可以选择将告警数据对接到业务系统当中，以比如MQTT推送等方式，都是支持的。此外，当前我们也正在开发一个面向安全生产领域的业务应用系统，我们会把预置的场景打包成AI能力，您在这个系统就可以直接使用，不需要关注底层的场景怎么搭建，模型怎么训练了。底层这个系统也是和Sophon AutoCV打通的，预计9月份会和大家见面。

几个案例

客户Q4：Sophon AutoCV平台当前的落地案例有哪些呢？星小环：我们目前客户主要集中在金融、制造业、研究机构以及传统安防等领域，比如给某寿险公司做的死猪估重，通过我们平台在2周内就完成了一个模型的生产和落地上线。另外，某个制造业的客户基于我们平台完成钢材表面缺陷的质检模型训练和应用，通过标注缺陷的数据来训练缺陷检测的模型。其他的比如我们还会和高校、硬件伙伴进行合作，比如最近和惠普合作形成了一个AI教育联合解决方案，提供了一个面向高校的科研教学的工具平台。客户Q5：目前市面上有比较多类似这样的模型生产应用的平台产品，你们的差异点在哪呢？星小环：差异点我们总结起来有3点：1-是我们针对模型的管理部分，提供模型仓库统一纳管模型，包括模型的评测，支持模型的一键部署应用，帮您屏蔽了底层的异构硬件；2-是我们的应用构建的部分，通过低代码可视化拖拽的方式来搭建业务流程，方便您管理您的业务逻辑和快速迁移复制。3-是对于整体流程而言，覆盖了模型生产应用的全生命周期，并且可以完成结构化数据的回流，支撑模型的长期迭代。客户Q6：你们平台是如何完成数据闭环的？星小环：数据有两个方面：一是原始的视频数据的采集，在我们的模型应用模块，有设备管理功能，可对接入到平台的数据进行定时定期录制保存，然后您可以把这部分数据回流到生产的样本管理，支撑模型训练。二是迭代数据的回流，对于模型推理后的数据包括图片以及对应的meta都会在平台保存，您可以直接拿这部分数据导入回样本集里面，在标注详情来审核这些数据，审核完成后再次进入训练应用的流程。客户Q7：对于平台部署的硬件有什么样的要求呢？星小环：对于模型训练部分，建议您使用带GPU的环境来加速训练；对于模型应用的部分，我们还进行了国产化适配，可以在市面上主流的硬件平台上进行模型推理。具体的资源大小还得根据您训练的需求以及要处理的视频路数来定。上下篇小结

Sophon AutoCV平台提供建模应用的全流程的功能，可基于平台完成数据的标注（包括智能标注）、模型的引导式训练和场景应用的可视化创建部署。同时，平台也会初始化一部分通用的场景模板，比如工业安全生产的人员、车辆、环境等智能检测识别功能，用户仅需绑定上设备，即可完成一个智能应用的生成，并且可快速迁移复用，后期模型迭代只需要替换一下模型即可，省去了从0-1搭建的成本。