华为最强云端AI芯片商用，性能超英伟达V100，开源AI框架对标谷歌！
看点：国产云端AI芯片和国产AI框架再添新势力！
智东西
8月23日
消息，刚刚，在华为总部坂田基地，华为自研云端AI芯片昇腾910正式商用发布，芯片最大功耗仅310W，比之前设计的350W更低！
此前云端AI芯片被称是单芯片计算密度最大的芯片，与之配套的全场景AI计算框架MindSpore也一同亮相。
MindSpore开源计算框架，可以满足端边云全场景需求，能最大化利用芯片算力。这意味国产AI框架阵营又加入了一个重要成员。
其中：视觉类作业占85%，语音类作业占10%, 机器学习5%，ModelArts已经拥有开发者超过3万。
徐直军还表示，面向未来，针对不同的场景，华为将持续投资，推出更多的AI处理器，面向边缘计算场景，在已经商用Ascend 310基础上，计划2021年将推出Ascend 320，满足AI应用开发的需求。 另外面向终端的昇腾Tiny系列将在麒麟990上得到应用。 徐直军说，不打算单独将昇腾作为独立业务面向市场，而是以板卡等服务器等形式出售，希望与大量AI芯片开发企业合作，使他们芯片应用于华为多样化的应用场景。 在回答记者问时，他也提到，期望昇腾910也在英国推出，具体时间未定，希望基于昇腾910的板卡、服务器等产品可以帮助英国AI研究。
芯片“巨无霸”上市，算力超英伟达
徐直军表示，昇腾910总体技术表现超出预期，作为算力最强AI处理器，当之无愧。
昇腾910（Ascend 910）是华为第一款重磅推出的达芬奇架构云端AI芯片，采用台积电7nm工艺，最大功耗仅310W，明显低于设计规格的350W。
这款芯片已经验证，半精度（FP16）算力达256 TFLOPS，比NVIDIA Tesla V100 GPU的125 TFLOPS还要高一倍。其整数精度（INT8）达512 TeraOPS，还集成了128通道全高清视频解码器H.264/265。
达芬奇架构的创新密码
昇腾910的功臣，正是华为自研的达芬奇架构。
达芬奇是历史上著名的全才，而华为的达芬奇架构，同样希望成为适应全场景的全才。 达芬奇架构具备高算力、高效率、灵活可裁剪的特点，具体而言特性如下： 1、可扩展计算， 芯片的计算单元可以纵向扩展，支持int8/int32/FP16/FP32多精度，拥有可扩展3D Cube以及张量Tensor/向量Vector/标量Scalar多种计算单元，并拥有皮秒级电流控制和硬件辅助的任务调度。 2、可扩展内存， 既有专用的，也有分布的，显式控制的内存分布实际，包括4 TBytes/s L2 Buffer缓存和1.2 TByte/s HBM高带宽内存，和传统冯·诺依曼架构有所差异。 3、可扩展片上互联， 基于LSU可扩展，片上有超高带宽Mesh网络。 4、算力和功耗覆盖范围广， 从蓝牙耳机到昇腾910芯片，算力范围达1000万倍，功耗范围达20万倍，很少芯片架构可以覆盖如此广的范围。 基于达芬奇架构的统一性，用户只需进行一次算子开发和调试，就可以横跨端边云进行部署，将算法迁移效率将大大提升。 而实现这些特性的关键要诀，在于AI计算的核心——3D Cube矩阵乘法单元。
由于99%的神经网络模型计算都用到矩阵乘，同等矩阵乘运算，3D Cube要比1D、2D的MAC算力花费更少的Cycle，从而大幅提高单位面积下的AI算力。 除了3D Cube以外，达芬奇核心中还有3个Buffer分别用于存储输入和输出矩阵，有Vector向量计算单元用于处理各种基本的计算类型和许多定制的计算类型，有Scalar标量计算单元来充当小CPU的角色。
新一代AI开源计算框架MindSpore
昇腾系列AI芯片及AI IP，只是华为全栈全场景AI解决方案的最底层。
在这一层之上，是华为芯片算子库和高度自动化算子开发工具CAAN，可将开发效率提升3倍。
再往上，是今天华为发布的另一个重磅产品——MindSpore开源计算框架，对标TensorFlow、Caffe、Pytorch等主流AI框架。
能否实现AI无处不在，能否在任何场景下确保用户隐私得到尊重和保护，这些都与AI计算框架息息相关。
华为提出，AI框架应该是开发态友好（例如显著减少训练时间和成本）和运行态高效（例如最少资源和最高能效比），更重要的是，要能适应每个场景包括端、边缘和云。 经过近一年的努力，全场景AI计算框架MindSpore在这三个方面都取得了显著进展。 面向AI训练和部署难题，MindSpore架构有如下特点： 1、可大可小，适用全场景不同资源预算独立部署。
2、通过协同经过处理后的、不带有隐私信息的梯度、模型信息，而不是数据本身，以此实现在保证用户隐私数据保护的前提下跨场景协同。 3、将模型保护Built-in到AI框架中，实现模型的安全可信。 4、在原生适应每个场景包括端，边缘和云，并能够按需协同的基础上，通过实现AI算法即代码，使开发态变得更加友好，显著减少模型开发时间。
以一个NLP（自然语言处理）典型网络为例，相比其他框架，用MindSpore可降低核心代码量20%，开发门槛大大降低，效率整体提升50%以上。 另外，根据此前公布的信息，MindSpore支持端、边、云独立和协同的统一训练和推理，从端到边缘、云的反馈可以更快处理。 MindSpore以统一分布式架构，支持机器学习、深度学习、强化学习等多种模型，包含在线和离线图计算，搭配各种调优工具，可实现更快的推送。且具备与核心系统解耦的编程接口。 通过MindSpore框架自身的技术创新及其与昇腾处理器协同优化，有效克服AI计算的复杂性和算力的多样性挑战，实现了运行态的高效，大大提高了计算性能。 除了昇腾处理器，MindSpore同时也支持GPU、CPU等其它处理器。
华为昇腾“芯”战略
华为“芯”战略，强在无处不在。
基于灵活可扩展的特性，达芬奇架构能够横跨端边云全场景提供最优算力。
Max/Multi-Mini系列是云端的独苗，其首个AI芯片昇腾910正式官宣商用，负责超复杂的云端训练和推理。这一系列同时也面向边缘服务器。 另一个已经商用的，是Mini系列的开山之作昇腾310，该系列既能应用于边缘的IPC，也能用于个人电脑。 Mini系列能兼顾训练和推理，面向智能手机应用的Lite系列也是如此。另外两款终端系列Tiny、Nano则主攻推理，前者用于智能手机，后者用于耳机电话等IoT设备应用。 目前，Mini和Max/Multi-Mini系列的首款芯片均已商用，而其余三款暂时还未露出庐山真面目。 徐直军表示，Tiny将用在麒麟990上。
徐直军再次回顾华为的AI战略，包括：
1、投资基础研究：在计算视觉、自然语言处理、决策推理等领域构筑数据高效（更少的数据需求） 、能耗高效（更低的算力和能耗） ，安全可信、自动自治的机器学习基础能力。 2、打造全栈方案：打造面向云、边缘和端等全场景的、独立的以及协同的、全栈解决方案，提供充裕的、经济的算力资源，简单易用、高效率、全流程的AI平台。 3、投资开放生态和人才培养：面向全球，持续与学术界、产业界和行业伙伴广泛合作。 4、解决方案增强：把AI思维和技术引入现有产品和服务，实现更大价值、更强竞争力。 5、内部效率提升：应用AI优化内部管理，对准海量作业场景，大幅度提升内部运营效率和质量。 华为AI解决方案（portfolio）的全场景，是指包括公有云、私有云、各种边缘计算、物联网行业终端以及消费类终端等部署环境。 而全栈是技术功能视角，是指包括Ascend昇腾系列IP和芯片、芯片使能CANN、训练和推理框架MindSpore和应用使能ModelArts在内的全堆栈方案。 徐直军也回顾了制定以上AI战略的初衷。 华为定位AI是一种新的通用目的技术（GPT），如同19世纪的铁路和电力，以及20世纪的汽车、电脑、互联网一样，将应用到经济的几乎所有地方。 同时华为也认为AI的应用总体还处于发展初期，AI技术和能力相比于长远期望还有很大差距。减小甚至消除这些差距，加速AI的应用，正是华为AI战略的初衷和目标。 具体包括致力于促成以下10个方面的改变：
1、模型的训练时间大幅减小，从数日、数月降低到几分钟、几秒钟； 2、算力从稀缺昂贵变成充裕、经济； 3、从AI主要在云、少量在边缘变成AI无处不在，任何场景； 4、目前主要算法诞生于1980年，下一步更多AI算法将变得更高效、能耗更低，同时更安全、可解释； 5、提高AI自动化水平，让能够AI自动数据标注、数据获取、特征提取等； 6、在模型的性能与可用度在工业生产中保持优秀，而不仅仅是“测试优秀”； 7、模型能够从非实时更新变为实时闭环系统的更新； 8、从与其他技术协同不充分变为多技术协同，包括云、IoT、边缘计算、区块链等； 9、从一项需要高级技能专家的工作，变成由一站式平台支持的基本技能； 10、从数据科学家稀缺变为数据科学家、领域专家、数据科学工程师相互协作。
结语：华为的AI生态大作战
此前，华为公布自己的目标，是坚持“平台+AI+生态”的战略，推动产业共识、探索产业增值、繁荣应用生态，实现万物互联的智能世界。
如今，以达芬奇架构为基础，华为超高算力的云端AI芯片昇腾910、主打低功耗的端侧AI芯片昇腾310，均已加入华为AI的商用阵营。距离华为的“小目标”，又近了一步。
前有NVIDIA、谷歌、英特尔等芯片巨头在完整软硬件产品阵列的基础上，打造了颇具用户粘性的生态系统，在先发优势被占的情形之下，华为的AI“全家桶”打法能否为其吸引到更多AI开发者、建立更为强大的生态系统尚未可知。
但可以确定的是，华为的野心和一贯的超强执行力，使其在AI和芯片领域都是绝对不容小觑的一员猛将。
智东西
8月23日
消息，刚刚，在华为总部坂田基地，华为自研云端AI芯片昇腾910正式商用发布，芯片最大功耗仅310W，比之前设计的350W更低！
此前云端AI芯片被称是单芯片计算密度最大的芯片，与之配套的全场景AI计算框架MindSpore也一同亮相。
MindSpore开源计算框架，可以满足端边云全场景需求，能最大化利用芯片算力。这意味国产AI框架阵营又加入了一个重要成员。
其中：视觉类作业占85%，语音类作业占10%, 机器学习5%，ModelArts已经拥有开发者超过3万。
徐直军还表示，面向未来，针对不同的场景，华为将持续投资，推出更多的AI处理器，面向边缘计算场景，在已经商用Ascend 310基础上，计划2021年将推出Ascend 320，满足AI应用开发的需求。 另外面向终端的昇腾Tiny系列将在麒麟990上得到应用。 徐直军说，不打算单独将昇腾作为独立业务面向市场，而是以板卡等服务器等形式出售，希望与大量AI芯片开发企业合作，使他们芯片应用于华为多样化的应用场景。 在回答记者问时，他也提到，期望昇腾910也在英国推出，具体时间未定，希望基于昇腾910的板卡、服务器等产品可以帮助英国AI研究。
徐直军还提到，智能手机的预期没有任正非之前说得那么坏，下降40%是比较悲观的预测，现实比当时的预测好的多，但减少100多亿美金是有的。
芯片“巨无霸”上市，算力超英伟达
徐直军表示，昇腾910总体技术表现超出预期，作为算力最强AI处理器，当之无愧。
昇腾910（Ascend 910）是华为第一款重磅推出的达芬奇架构云端AI芯片，采用台积电7nm工艺，最大功耗仅310W，明显低于设计规格的350W。
这款芯片已经验证，半精度（FP16）算力达256 TFLOPS，比NVIDIA Tesla V100 GPU的125 TFLOPS还要高一倍。其整数精度（INT8）达512 TeraOPS，还集成了128通道全高清视频解码器H.264/265。
达芬奇架构的创新密码
昇腾910的功臣，正是华为自研的达芬奇架构。
达芬奇是历史上著名的全才，而华为的达芬奇架构，同样希望成为适应全场景的全才。 达芬奇架构具备高算力、高效率、灵活可裁剪的特点，具体而言特性如下： 1、可扩展计算， 芯片的计算单元可以纵向扩展，支持int8/int32/FP16/FP32多精度，拥有可扩展3D Cube以及张量Tensor/向量Vector/标量Scalar多种计算单元，并拥有皮秒级电流控制和硬件辅助的任务调度。 2、可扩展内存， 既有专用的，也有分布的，显式控制的内存分布实际，包括4 TBytes/s L2 Buffer缓存和1.2 TByte/s HBM高带宽内存，和传统冯·诺依曼架构有所差异。 3、可扩展片上互联， 基于LSU可扩展，片上有超高带宽Mesh网络。 4、算力和功耗覆盖范围广， 从蓝牙耳机到昇腾910芯片，算力范围达1000万倍，功耗范围达20万倍，很少芯片架构可以覆盖如此广的范围。 基于达芬奇架构的统一性，用户只需进行一次算子开发和调试，就可以横跨端边云进行部署，将算法迁移效率将大大提升。 而实现这些特性的关键要诀，在于AI计算的核心——3D Cube矩阵乘法单元。
由于99%的神经网络模型计算都用到矩阵乘，同等矩阵乘运算，3D Cube要比1D、2D的MAC算力花费更少的Cycle，从而大幅提高单位面积下的AI算力。 除了3D Cube以外，达芬奇核心中还有3个Buffer分别用于存储输入和输出矩阵，有Vector向量计算单元用于处理各种基本的计算类型和许多定制的计算类型，有Scalar标量计算单元来充当小CPU的角色。
新一代AI开源计算框架MindSpore
昇腾系列AI芯片及AI IP，只是华为全栈全场景AI解决方案的最底层。
在这一层之上，是华为芯片算子库和高度自动化算子开发工具CAAN，可将开发效率提升3倍。
再往上，是今天华为发布的另一个重磅产品——MindSpore开源计算框架，对标TensorFlow、Caffe、Pytorch等主流AI框架。
能否实现AI无处不在，能否在任何场景下确保用户隐私得到尊重和保护，这些都与AI计算框架息息相关。
华为提出，AI框架应该是开发态友好（例如显著减少训练时间和成本）和运行态高效（例如最少资源和最高能效比），更重要的是，要能适应每个场景包括端、边缘和云。 经过近一年的努力，全场景AI计算框架MindSpore在这三个方面都取得了显著进展。 面向AI训练和部署难题，MindSpore架构有如下特点： 1、可大可小，适用全场景不同资源预算独立部署。
2、通过协同经过处理后的、不带有隐私信息的梯度、模型信息，而不是数据本身，以此实现在保证用户隐私数据保护的前提下跨场景协同。 3、将模型保护Built-in到AI框架中，实现模型的安全可信。 4、在原生适应每个场景包括端，边缘和云，并能够按需协同的基础上，通过实现AI算法即代码，使开发态变得更加友好，显著减少模型开发时间。
以一个NLP（自然语言处理）典型网络为例，相比其他框架，用MindSpore可降低核心代码量20%，开发门槛大大降低，效率整体提升50%以上。 另外，根据此前公布的信息，MindSpore支持端、边、云独立和协同的统一训练和推理，从端到边缘、云的反馈可以更快处理。 MindSpore以统一分布式架构，支持机器学习、深度学习、强化学习等多种模型，包含在线和离线图计算，搭配各种调优工具，可实现更快的推送。且具备与核心系统解耦的编程接口。 通过MindSpore框架自身的技术创新及其与昇腾处理器协同优化，有效克服AI计算的复杂性和算力的多样性挑战，实现了运行态的高效，大大提高了计算性能。 除了昇腾处理器，MindSpore同时也支持GPU、CPU等其它处理器。
华为昇腾“芯”战略
华为“芯”战略，强在无处不在。
基于灵活可扩展的特性，达芬奇架构能够横跨端边云全场景提供最优算力。
Max/Multi-Mini系列是云端的独苗，其首个AI芯片昇腾910正式官宣商用，负责超复杂的云端训练和推理。这一系列同时也面向边缘服务器。 另一个已经商用的，是Mini系列的开山之作昇腾310，该系列既能应用于边缘的IPC，也能用于个人电脑。 Mini系列能兼顾训练和推理，面向智能手机应用的Lite系列也是如此。另外两款终端系列Tiny、Nano则主攻推理，前者用于智能手机，后者用于耳机电话等IoT设备应用。 目前，Mini和Max/Multi-Mini系列的首款芯片均已商用，而其余三款暂时还未露出庐山真面目。 徐直军表示，Tiny将用在麒麟990上。
华为的AI战略：五大面向
华为的全栈方案具体包括：
Ascend：基于统一、可扩展架构的系列化AI IP 和 芯片，包括Max、Mini、Lite、Tiny和Nano等五个系列； CANN：芯片算子库和高度自动化算子开发工具； MindSpore：支持端、边、云独立的和协同的统一训练和推理框架； 应用使能：提供全流程服务（ModelArts），分层API和预集成方案。
徐直军再次回顾华为的AI战略，包括：
1、投资基础研究：在计算视觉、自然语言处理、决策推理等领域构筑数据高效（更少的数据需求） 、能耗高效（更低的算力和能耗） ，安全可信、自动自治的机器学习基础能力。 2、打造全栈方案：打造面向云、边缘和端等全场景的、独立的以及协同的、全栈解决方案，提供充裕的、经济的算力资源，简单易用、高效率、全流程的AI平台。 3、投资开放生态和人才培养：面向全球，持续与学术界、产业界和行业伙伴广泛合作。 4、解决方案增强：把AI思维和技术引入现有产品和服务，实现更大价值、更强竞争力。 5、内部效率提升：应用AI优化内部管理，对准海量作业场景，大幅度提升内部运营效率和质量。 华为AI解决方案（portfolio）的全场景，是指包括公有云、私有云、各种边缘计算、物联网行业终端以及消费类终端等部署环境。 而全栈是技术功能视角，是指包括Ascend昇腾系列IP和芯片、芯片使能CANN、训练和推理框架MindSpore和应用使能ModelArts在内的全堆栈方案。 徐直军也回顾了制定以上AI战略的初衷。 华为定位AI是一种新的通用目的技术（GPT），如同19世纪的铁路和电力，以及20世纪的汽车、电脑、互联网一样，将应用到经济的几乎所有地方。 同时华为也认为AI的应用总体还处于发展初期，AI技术和能力相比于长远期望还有很大差距。减小甚至消除这些差距，加速AI的应用，正是华为AI战略的初衷和目标。 具体包括致力于促成以下10个方面的改变：
1、模型的训练时间大幅减小，从数日、数月降低到几分钟、几秒钟； 2、算力从稀缺昂贵变成充裕、经济； 3、从AI主要在云、少量在边缘变成AI无处不在，任何场景； 4、目前主要算法诞生于1980年，下一步更多AI算法将变得更高效、能耗更低，同时更安全、可解释； 5、提高AI自动化水平，让能够AI自动数据标注、数据获取、特征提取等； 6、在模型的性能与可用度在工业生产中保持优秀，而不仅仅是“测试优秀”； 7、模型能够从非实时更新变为实时闭环系统的更新； 8、从与其他技术协同不充分变为多技术协同，包括云、IoT、边缘计算、区块链等； 9、从一项需要高级技能专家的工作，变成由一站式平台支持的基本技能； 10、从数据科学家稀缺变为数据科学家、领域专家、数据科学工程师相互协作。
结语：华为的AI生态大作战
此前，华为公布自己的目标，是坚持“平台+AI+生态”的战略，推动产业共识、探索产业增值、繁荣应用生态，实现万物互联的智能世界。
如今，以达芬奇架构为基础，华为超高算力的云端AI芯片昇腾910、主打低功耗的端侧AI芯片昇腾310，均已加入华为AI的商用阵营。距离华为的“小目标”，又近了一步。
前有NVIDIA、谷歌、英特尔等芯片巨头在完整软硬件产品阵列的基础上，打造了颇具用户粘性的生态系统，在先发优势被占的情形之下，华为的AI“全家桶”打法能否为其吸引到更多AI开发者、建立更为强大的生态系统尚未可知。
但可以确定的是，华为的野心和一贯的超强执行力，使其在AI和芯片领域都是绝对不容小觑的一员猛将。