AI平台AutoML在哈啰的探索与实践

一站式AI平台架构

产品架构

算法模型的研发具有很强的范式，首先是特征数据加工，选取一些数据作为特征。拿到特征之后，选择一个模型并进行相关的训练。第三步是把训练好的模型部署到模型平台上面。最后，决策平台会做业务流程的编排。

如图是整个平台的产品架构图。上面是各类应用场景，包括智能调度、营销&增长、司乘匹配、基础算法等。平台接入层提供内部SOA协议的接入，上面有各种各样的服务，会对接我们的平台。我们的平台分为离/近线系统和近/在线系统，其中离/近线系统包括特征平台和训练平台，近/在线系统包括模型平台和决策平台。

技术架构

如图是AI平台的技术架构图。从上往下，决策平台层是在线服务的入口，除了算法在上面做一些流程编排，一个重要的职责是承担了在线业务流量的稳定性。为了加速模型推理的功能，我们把模型直接跟特征绑定，拉取到本地。在这个过程中，如何把海量数据，大量的高维特征加载到本地机器上运行，让本地的模型直接读取，是有挑战性的地方。二是在线部分，分布式动态扩缩容、高可用、限流熔断，也是我们的核心能力之一。三是模型平台，要面对各种各样的算法框架所开发出的模型，如tensorflow模型、pytorch模型等，这些模型还会经过一些常用的模型压缩算法，变成优化好的模型。我们把这些模型加载起来，有Tensorflow集群、GPU集群、Python集群等。

接下来，底层的特征平台主要应用的是大数据技术。上面可以部署各种定时任务，这些任务是通过spark的脚本分发给数据平台，申请计算资源，最后进行算法的推理和计算。同时，我们对hive、数据湖都需要有一定的了解。

最后是云原生相关技术的应用。训练平台用的是云原生的docker直接加载jupyter notebook镜像，把这些资源释放给算法同学使用，获得能效的提升。