MIUI12 | 官方揭秘小米健康灵弦算法

MIUI12 中新增的小米健康，是你手机中的健康中心。小米健康依托自研灵弦算法，AI智能感知运动状态。手机揣兜里，即可自动记录一整天的步行、跑步、骑行和爬楼梯。更重要的是，一整天耗电量小于1%！


目前世界主流手机上，仅小米和Google，支持多种运动行为感知技术。而经泰尔实验室测试认证，灵弦算法的算法准确率为94.3%，召回率80.9%，均超过Google的表现。

如何做到的？这就来揭秘。

什么是AI运动感知？

运动记录功能分为以下几种方式：

1.手动记录：运动的开始与结束都需手动记录，各类主流手环手表及运动App均有提供；

2.半自动询问式记录：通过 提醒+用户确认 实现运动记录，部分高端可穿戴设备采用的是这一方式；

3.全自动感知记录：无需用户操作，自动感知运动类型并自动记录，采用这一方式的设备屈指可数。

小米健康使用的灵弦算法，做到的就是全自动感知记录，灵弦算法正是一种AI运动感知算法。在此之前也仅有 Google Pixel 手机支持AI运动感知。
AI运动感知的过程不难理解，只要将手机佩戴在身上，运动状态就会反映到手机的传感器（如加速度传感器）中，通过分析传感器的数据，还原并识别用户的运动模式就可以进行运动记录。这种模式识别的过程，一般都会采用AI领域内深度学习的方法。

但不难理解的过程，在实现过程中却有着很多难点：
1. 算法需求复杂。 不同个体的运动模式、衣着服饰、手机位置及方向复杂多变，比起可穿戴设备来说更为复杂。同时不同于运行于App或云端的算法，为了达到自动识别所要求的全天候运行，在功耗、模型大小、内存、性能上要求极其严苛。
2. 微控制器AI框架。 为了让低功耗处理器具备AI推理能力，就需要有可靠的微控制器AI框架，然而业内几乎没有成熟可用的微控制器AI框架。
3. 低功耗算法落地实践。 如何将AI算法部署在手机上，并且保持符合目标的低功耗，本身也很复杂。

灵弦算法 低功耗的AI运动感知算法
只通过手机来智能识别用户的运动行为，这意味着灵弦算法需要具备2个能力：

1. 推理用户每秒所处的瞬时运动状态；

2. 根据每一个瞬时运动状态组成的时间序列，推理用户所经历的运动行为。

相较可穿戴设备，手机识别用户运动行为最大的劣势在于，手机可能处于的位置多种多样。可能为手持、置于裤子口袋、上衣口袋、背包，以及多种位置交替出现、摆放姿态交替出现等等。所以灵弦算法需要具备多种姿态下的运动识别能力，相对于可穿戴设备来说要求更高。

AI运动感知由于不需要用户标记运动的开始或结束，所以在运动时间序列识别中，灵弦算法也面临更复杂的情况。如两种运动交替出现，且时间长度相当，该判断为何种运动；单一运动多段进行，起止时间难以判断；多种场景多轮切换，如何定义真正的运动场景等。

所以灵弦算法还需要很强的容错、纠错、校验的能力，从而做到时间片段的分析、整合以及过滤。
另外，灵弦算法需要全天候运行，实现用户使用手机过程中的AI运动感知，这就需要灵弦算法本身是一个低功耗的算法。除低功耗外，由于算法需要跑在资源极端匮乏的运行环境，所以对算法模型的大小及复杂度也有限制。

最终，我们通过一个模型大小仅百KB级别的神经网络实现了这些需求，在复杂度与推理效果间取得了不错的平衡。经泰尔实验室测试认证，灵弦算法的算法准确率为94.3%，召回率80.9%，均超过 Google 自动运动识别的表现，达到手机自动运动识别的业界领先水准。

MACE Micro 小米自研并开源的微控制器AI框架
考虑到手机续航，灵弦算法必须跑在低功耗处理器上，这就需要一套支持低功耗处理器的AI框架。
MACE Micro 是小米自研并开源微控制器AI框架。微控制器（MCU）是小型、低能耗的计算设备，经常嵌入在只需要进行基本运算的硬件中，包括家用电器和物联网设备等。为了全面支持手机与IoT设备超低功耗推理场景，小米MACE团队在2020年开发了微控制器AI框架 MACE Micro 并开源。

MACE Micro 在立项时确立了四个目标：高性能、低能耗、好移植、易用。
在超低功耗计算场景下，想要做到高性能且低功耗，就需要在保证计算精度的同时，减少计算量，同时减少对于内存的访问次数。
MACE Micro 继承了 MACE 在模型表示层面对算子进行的替换、融合与链路优化，并通过自定义模型格式，实现了模型初始化的0时间消耗；同时，针对卷积等算力密集的算子进行了访存优化，在提高性能的同时，也降低了功耗。

此外，MACE Micro 还支持了bfloat16(BF16)计算精度，提升了设备在冷启动时的计算速度，同时将模型大小缩减50%，大幅缩减了运行时的内存占用，并且其模型预测精度降低不到0.1%。

MACE Micro 不依赖于任何OS、堆内存分配、C++库以及除 math 库之外的其他第三方库，开发工具链只要支持C++98标准，就能进行 MACE Micro 的移植，同时 MACE Micro 复用了 MACE 的已有功能，继承了 MACE 的模型优化、模型保护、单元测试和基准测试等功能。
有了 MACE Micro ，灵弦算法就有了运行于低功耗处理器之上的基础。

低功耗算法落地实践
有了如此优秀的AI引擎还不足够，如何让深度学习推理顺利地跑在低功耗处理器上，还是个大难题。需要有一套方案，打通物理传感器、计算模块、底层存储模块、对上层的统一封装等各种需求。经过一年多的不断预研及适配，工程师成功解决了功耗、性能、机型适配等多项难题，将AI推理能力落地到了手机底层。

经过多款机型功耗测试，灵弦算法持续运行时平均电流小于 1mA，符合运动识别能力默认开启下的功耗要求。
-
灵弦算法不会停下进化的步伐，不久的将来将看到灵弦算法在更高精度、更多类型运动、更多运动数据维度等等方面的突破。未来小米健康将作为你的贴心运动健康管家，为你每个维度的健康都提供可依赖的保障。