宗老师尖端技术-AI系统高可用方案

高可用设计在AI系统中是不可或缺的功能，往往体现在系统设计的各个层面。

作业维度：作为调度系统，必须保证每一个提交进去的作业被正确执行，作业运行过程中很有可能因为各种原因发生错误，首先需要做的就是本地Retry，当本地Retry到一定次数后需要考虑Host环境因素由调度系统调度到其它机器进行Retry，如果再次失败到一定次数，可以标记Task为Fail。另外，对于支持检查点的作业（checkpoint），调度系统提供接口支持定期对作业进行checkpoint，方便作业及时恢复和迁移，对于不支持检查点的作业，调度系统对每个作业的运行状态记录相应的events，当调度系统重启后，能根据events恢复作业的运行状态，确保作业的正常运行；

GPU维度：AI计算使用的GPU一般都是高端显卡，功耗有比较大，在测试和应用场景中经常会发生GPU无法使用的作业，当一些作业连续在同一个GPU上失败后，调度系统需要将该GPU标记，并在后续的调度中排除该GPU的使用，确保作业能正常的运行；

节点维度：类似于GPU维度，调度系统如果检测到计算主机不可用，需要将该主机上目前运行的任务重新分配到其它计算节点继续执行，将该计算主机标记并排除到后续的调度中，同时当该主机恢复后能继续加入到计算列表中进行任务分配；

Scheduler维度：Scheduler具有Master scheduler和Slave Scheduler，通过ETCD选举Leader进行调度，Scheduler需要启动多于3个节点，当Master Scheduler进程离线后，ETCD可以确保选出一个新的Mastre scheduler接管当前的调度任务，同时Master Scheduler需要实时同步当前资源分配计划到ETCD cluster，在新的Scheduler启动后快速从ETCD同步数据恢复现场，保证集群可用性。

Fixed Workers：系统中只要有可用资源就优先分配足额的worker数量，这些worker是pre-start，以最快的速度来处理session中提交过来的计算作业，确保用户的计算作业能及时得到处理，保证作业处理的实时性；

Dynamic Share Ratio：当fixed workers配置的资源不能满足作业的计算需求，导致session中pending作业较多的时候，通过配置dynamic share ratio，按照配置的资源使用份额，申请额外的worker来加速处理当前session，所有session中的pending作业竞争按照share ratio比重分配可用资源。

一个完整的人工智能应用，在一个流程中可能会用到好几个模型算法，为了能快速适用于不同客户的AI需求而不用频繁修改代码，需要能快速组织出一个新的流程，类似于集群和容器的编排，算法编排用于快速定义一个机器学习程序的计算流程以实现一个完整的商业需求。

将不同的算法功能模块抽象为公共算法模块，这些算法模块组织成流水线来完成一个完整的算法输入和输出。输入参数为采集过来或者实时的原始数据，比如文本、视频、图片和视频流等，输出就是具体检测跟踪或者提取的结构化数据，可以用来存储到关系型数据库或者NoSQL数据库。

通过模型编排组织起来的算法流水线能够以最快的速度进行AI处理，可以极大提高AI产品的实时性和性能。