华为昇腾计算产业解读

昇腾计算框架

华为从基础硬件（昇腾系列NPU）出发衍生出一套和现有的人工智能体系不同的架构

昇腾计算架构

层级	现行架构体系
应用	机器视觉，自然语言处理，语音处理
框架	Pytorch，Tensorflow，MXNet，Caffe，…… 等基于自动微分的主流深度学习框架
基础软件	cuDNN（CUDA Deep Nerual Network library）基于CUDA的针对神经网络的加速库 CUDA（Compute Unified Device Architecture）基于GPU的计算框架
硬件	GPU（Graph Processing Unit）图形处理器

昇腾硬件体系

对产品线的个人理解

• 200系 端用模块

• 300系 板卡

• 500系 边缘设备

• 800系 服务器

• 900系 服务器集群

  
  
  昇腾产品线

昇腾基础软件

CANN（Compute Architecture for Neural Networks）

CANN是专为深度学习设计的异构计算架构

• Driver 实现硬件和操作系统的适配和支持。

• 中间层提供基础的服务，Runtime提供内存管理、算力分配和资源调动，内置硬件数字视觉解码器DVPP和高性能算子库CANN Lib，HCCL提供板间以及框间的通信能力

• 图引擎是架构的核心模块，实现了大计算图的拆分、图融合，最大化芯片算力利用率。

• 统一编程接口AscendCL 可以实现高效率开发

CANN

MindSpore

面向全场景的AI计算框架昇思（MindSpore）致力于实现开发态友好、运行态高效、全场景按需协同三大目标

MindSpore特性：

• 动静态图转换，实现了对静态图和动态图的支持，可以帮助开发者提升网络调试调优效率，同时获得训练性能的收益

• 自动并行，实现自动的数据并行和模型并行的混合并行训练，用户选择一个性能较优的并行切分策略实现大规模网络的线性加速、自动扩展

• 端边云协同，针对“端、边、云”全场景提供了一致的开发和部署能力，以及按需协同能力

昇腾应用

MindX Edge 智能边缘组件

是一个原生支持边云协同的中间件 Agent，可实现快速将云端模型推送至边缘端部署，同时将边缘侧未识别数据上传至云端进行增量训练

MindX DL 深度学习组件

是以提供参考架构的方式供业界平台伙伴快速开发商用版本的深度学习系统。MindX DL 通过以增强插件的方式部署在现有集群的控制节点以支持 NPU 资源的调度

ModelZoo 模型库

提供各类训练好的图像分类、推荐排序、目标检索、自然语言等领域的模型

面向行业的SDK

是凝聚了行业知识，结合 AI 最佳实践的软件开发套件，解决训练、数据采集、数据预处理、数据增强，调参，以及各种推理验证中的痛点

应用使能