大模型国产化迁移大模型到昇腾教程（Pytorch版）

大模型国产化适配10-快速迁移大模型到昇腾910B保姆级教程（Pytorch版）

随着ChatGPT的火爆，AI大模型时代来临，但算力紧张。中美贸易战及美国制裁AI芯片，国产化势在必行。已有国产AI芯片和Mindformers框架，基于昇腾910训练大模型，使用MindIE实现大模型服务化。

本文介绍如何迅速将大型模型迁移到昇腾910B,许多入门者都是从斯坦福羊驼开始的。我们将利用羊驼的训练代码和数据集，快速在昇腾910B上训练baichuan2-7B/13B和qwen1.5-7B/14B这两个大型模型。之前的文章已经详细讲解了如何从零开始复现斯坦福羊驼(Stanford Alpaca 7B),因此本文不再赘述该过程。斯坦福羊驼的整体思路如下图所示：

准备工作

• 操作系统版本/架构：EulerOS 2.0 (SP10)/aarch64
• NPU：8x 910B 64G
• Python：3.9
• NPU 驱动：24.1.rc1，
• NPU 固件：7.1.0.6.220，
• CANN 工具包：7.0.0，
• Pytorch及torch_npu插件：2.1.0，
• Docker镜像优化：ascend-mindspore 23.0.0-A2-ubuntu18.04,
• DeepSpeed：0.14.1，

查询所有设备的基本信息。

> npu-smi info
+------------------------------------------------------------------------------------------------+
| npu-smi 24.1.rc1 Version: 24.1.rc1 |
+---------------------------+---------------+----------------------------------------------------+
| NPU Name | Health | Power(W) Temp(C) Hugepages-Usage(page)|
| Chip | Bus-Id | AICore(%) Memory-Usage(MB) HBM-Usage(MB) |
+===========================+===============+====================================================+
| 0 910B1 | OK | 95.7 36 0 / 0 |
| 0 | 0000:C1:00.0 | 0 0 / 0 3306 / 65536 |
+===========================+===============+====================================================+
| 1 910B1 | OK | 96.7 38 0 / 0 |
| 0 | 0000:01:00.0 | 0 0 / 0 3307 / 65536 |
+===========================+===============+====================================================+
| 2 910B1 | OK | 92.2 36 0 / 0 |
| 0 | 0000:C2:00.0 | 0 0 / 0 3307 / 65536 |
+===========================+===============+====================================================+
| 3 910B1 | OK | 96.2 37 0 / 0 |
| 0 | 0000:02:00.0 | 0 0 / 0 3306 / 65536 |
+==========================