都说在边缘落地视频智能分析难，但是这次有了大模型！

百度智能云边缘计算团队成功地将大模型、业务场景、边缘设备进行融合，使得边缘服务器 ECS上的算子具备了「场景自适应能力」，并实现了「采集 - 清洗 - 标注 - 训练 - 部署 - 迭代」全流程的自动化。

在视频智能分析场景中，研发人员使用少量业务现场收集的数据，就可以在短时间内研发出满足业务需要的算子，实现项目的冷启动。已经部署在边缘服务器 ECS 中的算子，能够随着时间推移实现自我进化，始终保持业务的最佳效果。在大模型的加持下，基于边缘服务器 ECS 建设的视频智能分析项目，落地时间从过去数周缩短为数天，乃至更短。

除此之外，大模型还为管理者提供了「超级经营助手」，对边缘服务器 ECS 收集到的业务数据进行智能分析并提供经验建议。

---

01

在日常生活和企业经营中，使用 AI 视觉进行视频智能分析已经变得随处可见。在每一家零售门店，每一条生产流水线，每一处建筑工地，每一个港口码头……都能见到摄像头的身影。

同时，每一位勇于创新的技术负责人正在尝试将更多业务引入 AI 视觉的能力，以实现更大范围的智能化管理。这些建设成果将能够切实的提升企业管理效率和业务竞争力。

AI 视觉在很多业务方向已经获得了显著的成果。但是这些看上去似乎理所当然的事物，即使在智能化已经如此普遍的今天，为了确保项目成功落地，技术负责人仍然面临着诸多挑战。

02

摄像头具备的 AI 视觉能力源自于部署在边缘设备上的算子，它的性能将直接影响业务表现。

在算子研发阶段，需要技术人员花上数个月时间，对大量的数据进行处理，并完成算子训练等工作。为了满足精度和可靠性的要求，还需要对算子进行反复迭代。在这个过程中，研发的周期和成本可能会远超预期，甚至是算子效果始终无法达标。如果是一个新型业务，则场景数据的采集和算子的定制均需要从零开始，相比有现成算子的传统业务，项目风险会大幅提升。

即使算子成功上线，这并不意味着项目已经结束，而只是下一个挑战的开始。

在持续经营的过程中，业务产生的新数据可能使得算子效果不断降低，这将导致项目无法满足业务需要。此时需要研发人员及时介入，使用这些新数据再次进行算子训练与针对性调优。除此之外，如果在同一需求场景中，各个业务现场的实际情况差别比较大，比如零售场景下的各个连锁门店的光照条件、摄像头角度、现场环境等因素，则之前进行统一训练的算子无法针对每一个业务现场做到性能最优。

在每一个视频智能分析的项目中，这些都是技术负责人和团队全程都会面临的风险。

03

相比于传统的 AI 模型，大模型有着优异的效果泛化能力，只需要少量数据就可以训练出具备良好效果的算子，满足各类应用场景的要求。这可以有效解决数据处理、算子研发、运维管理中遇到的各项挑战。

不过，大模型如何才能和算力有限的智能摄像头、边缘服务器 ECS 等边缘设备结合，在技术和工程上还需要进行更多探索和努力。

04

百度智能云边缘计算团队，基于丰富的边缘业务实践和领先的大模型技术，成功完成了两者的融合，使得算子具备了「场景自适应能力」，并做到了业务全流程自动化。

大模型的融入实现了视频智能分析项目的冷启动，可以生成高准召率的算子，且具备自动进化的特性。这使得技术负责人和团队免去过去时时被各种风险包围的烦恼，可以专注于推动业务创新。

边缘服务器 ECS 只需将采集的少量业务现场数据回传至中心云，利用中心云的大模型自动完成数据清洗、标注等工作，并喂给大模型进行算子训练与优化。在算子的效果贴合场景后，再推送至边缘设备进行部署。

同时，中心云的大模型可以对算子效果进行自动化地监督和优化，实现边缘侧算子的自进化，确保算子效果能够适应场景变化，始终满足业务需要。得益于大模型的支持，「采集 - 清洗 - 标注 - 训练 - 部署 - 迭代」业务全流程的自动化，可以节省大量研发和运维力量等人力投入。

不止于此，基于大模型的能力，边缘服务器 ECS 还提供了「超级经营助手」功能，可以自动归纳业务中的预警事件和经营数据，快速生成统计报表并进行智能化分析，为管理人员提供经营建议与决策辅助。

05

可以想见，借助大模型加持的边缘服务器 ECS，一个负责上千家门店的技术团队，只需要输入其所需的算法描述，就可以在短时间内为每一家门店完成算子定制，并自动部署在门店本地的边缘设备中。并且，算子还可以持续自动升级，满足业务长期运营的需要。同时，门店的管理者通过「超级经营助手」提供的智能数据分析和经营建议，就能高效率完成对所有门店的日常管理。

目前，完成了上述大模型能力升级的边缘服务器 ECS，已经在某著名大型连锁餐饮品牌的项目中投入使用。