MindSpore社区群组介绍系列之四——WG-Research

人工智能领域

作为一个技术发展日新月异，新研究新成果层出不穷的领域，MindSpore社区持续关注着人工智能领域发展的新方向，并总结出10大影响人工智能发展的方向，针对这10大方向成立WG-Research（研究工作组），在了解了WG-Research之后，希望有幸能邀请您一起进行深度探讨~

简单介绍完毕让我们进一步了解MindSpore社区系列之四——WG-Research

所面向的是哪10大方向，针对这10个课题又有什么idea呢？

· 新网络模型对深度学习框架的IR表达、优化和执行提出挑战，包括引入新的op抽象级别，模型的动态性等;

· 第三方高性能计算语言或框架加速，迫切需要通用性更强的张量计算框架和API设计;

· 模型层和算子层统一优化的技术挑战，包括层次化IR设计、优化基础设施、自动化调优、循环优化等。

· 模型规模和复杂度越来越高。比如1750亿参数量的GPT-3 ，百万人脸识别，百亿特征推荐等；

· 模型手工切分难。需要结合计算量、集群规模、通信带宽、网络拓扑等信息才能构造出并行模式；

· 并行表达缺乏适应性。单纯Graph级别的模型切分无法获得有效加速比，需要算法逻辑和并行逻辑解耦。

目前混合精度能自动针对网络进行fp16、fp32进行精度调节以提升训练性能和内存优化，但这种优化针对不同的ai芯片策会有所不同（算子开销情况不同），不同硬件不同网络的配置有所差异。

因此，如何自动的生成适配各种硬件的精度调节策略，特别是更激进的低bit策略和更大范围的算子降精度。

内存有多种优化策略，有些优化策略基于重计算、host-device内存倒换等，会增加计算量。但能通过增加计算量的进一步突破内存瓶颈，提高网络的batchsize，而batchsize的提升往往能提升GPU、NPU的利用率从而提升吞吐性能。

· 可信AI（或AI责任）的多个方面，例如鲁棒性、后门、公平性、隐私保护能力、可追责性等，逐渐引起业界关注；

· 学者对于可信AI属性的理解和研究是许多是基于实证的（empirical），基于理论的研究较少；

· 可信AI属性约束的可验证、可证明的分析、调优、评价方法需要理论指导。

· AI业务在训练和部署过程中，数据、模型和计算资源可能分属各方，因此涉及大量的数据跨信任域移动，数据隐私保护和模型机密性保护的问题突出。

· 密态计算是保护关键数据机密性的重要方向。目前，基于可信执行环境的密态计算具有性能优势，然而信任模型受限；基于加密学（如同态加密，多方计算）的密态计算信任模型简单，然而性能距离实用尚存在差距；

· AI场景下的一系列针对性优化可能提升密态AI的性能，包括但不限于：适应AI场景的密态算法和神经网络结构、中间层表达、编译优化技术、基于硬件的优化加速。

训练出满足精度要求的模型，往往需要丰富的专家知识以及反复迭代尝试。虽然有AutoML技术，但仍然存在搜索空间设定难、搜索空间大训练时间长的问题。如果可以结合用户训练的迭代历史，通过分析历史数据，实现一种轻量化的超参推荐手段。

同样，对于性能调优，也存在类似问题，在不同的异构硬件、模型、数据处理场景下，需要专家知识进行调优。因此是否可以通过自动识别系统性能瓶颈、推荐代码路径等方法，来降低性能调优门槛？

目前的深度学习模型因为其技术原理存在本质上的黑盒性质，从而导致AI服务的不透明及不可解释性，进一步约束了基于AI服务的商业应用与推广。现有的可解释AI技术主要关注于如何对黑盒模型进行有限度的、工程性的辅助信息输出技术，而忽略了从人类认知角度，如何对AI模型进行理解。

人类理解事物通常通过类比、比喻、归纳等认知方法，并且具有一定的心理认知构建流程。期望能够探寻比较体系化的符合人类认知的可解释AI方法，包括交互界面、解释方法、量度手段等等。

结合传统模型和神经网络的模型创新是研究热点

深度概率模型创新：通过神经网络和概率模型的组合，该模型可以更好的表达不确定性地帮助决策

图神经网络：神经网络与传统的图结构相结合，面向认知推理和未来趋势

AI建模：AI自动建模可以有效地提高科学计算的建模效率，收敛性分析可以提高模型的可靠性，并确保用户的简单放心使用。

AI解决方案：高阶微分的计算量随参数和阶数呈指数增长。我们可以设计神经网络模型来解决此类经典问题。

华为的MindSpore社区团队决定在社区发起研究工作组，面向以上十大方向，征集大家的智慧与能力，开展创新协作：

前沿应用驱动，从新型模型、动态模型、高性能计算等视角，研究未来计算框架的演进方向和关键技术路径。

以超大模型为驱动，研究加速分布式训练的关键技术，包括但不局限于自动并行、混合并行、内存优化、弹性伸缩等。

自适应的提供针对各种网络，整网低bit精度训练机制。

如何自适应的找到合适的内存优化策略使得在网络能执行的前提下，整体性能优化或者提供一种策略。

对于可信AI，提出可验证、可证明的机制研究、评价体系等。

达成一个实际AI应用场景下性能可行、灵活的AI密态计算框架，或者其中的关键技术。

可以自动推荐优化的超参配置、性能优化路径，降低模型开发、使用门槛，提升模型调试调优效率。

一套完整的符合人类认知的可解释AI方法策略，针对不同场景、不同认知，提供需要的交互认知接口设计方案，并对典型场景的有个例设计。

完备的概率采样库和概率推断（通过已知样本学习总体样本的概率分布）算法库；

面向动态变化的异构图（特征维度不同，信息汇聚方式不同）设计新的算法；

超大规模（Trillion）分布式图数据存储、切分和采样。

建模：针对科学问题构造神经网络，训练数据和Loss函数

求解：AI模型解微分方程，解优化问题，支持高阶微分

查看WG-Research的立项文档：

https://gitee.com/mindspore/community/blob/master/design/meps/mep-research/MEP-RESEARCH.md