ChatGLM3本地部署运行（入门体验级）

前言

• 学习自B站up主技术爬爬虾，感谢up主提供的整合包！

零 硬件

• 6GB以上显存的NVIDIA显卡（品质越高，效果越好）

小白基知填坑

eForce Game Ready驱动程序

• 使用NVIDIA GeForce Game Ready驱动程序可以通过提供更好的图形处理能力和稳定性来增强AI任务的性能。
• GeForce Game Ready驱动程序的功能：

1. 性能优化：驱动程序通过针对不同的AI任务优化图形处理单元（GPU）的使用，提供更高效的计算能力，从而提高AI学习和大模型部署的性能。
2. 兼容性支持：驱动程序经过测试和优化，以确保其与最新的AI框架和库以及相关软件的兼容性。这有助于确保您可以顺利运行和部署AI模型。
3. 稳定性和可靠性：GeForce Game Ready驱动程序经过严格测试，以确保在AI任务中提供稳定的运行环境，减少崩溃或错误的可能性。
4. 额外的功能：驱动程序可能包含一些额外的功能或工具，例如GPU性能监控、优化设置和调试工具，可帮助您更好地管理和优化AI任务的执行。

CUDA常用命令

• 当使用CUDA进行并行计算时，可以使用一些基本的CUDA命令来管理和监控GPU设备。

1. nvcc：用于编译CUDA源代码并生成可执行文件。
   • 它是CUDA的编译器驱动程序，可以接受CUDA源代码文件（.cu）作为输入，并生成可在GPU上执行的二进制文件。
2. nvprof：用于性能分析和性能调优。
   • 它可以跟踪CUDA应用程序的运行时间和内存使用情况，并提供详细的性能指标和分析报告，帮助开发者找到性能瓶颈并优化CUDA代码。
3. nvcc -arch：用于指定CUDA代码的目标架构。
   • 该命令选项后面可以跟随所需的GPU架构代号，例如sm_30（Kepler架构）或sm_61（Pascal架构），以确保CUDA代码能够在指定的GPU上正确编译和运行。
4. nvidia-smi：用于监视和管理GPU设备。
   • 该命令提供了有关GPU的详细信息，如驱动程序版本、显卡型号、温度、功耗以及当前运行的进程列表等。此外，nvidia-smi还提供了一些选项，如设置GPU的功耗限制等。
5. cuda-memcheck：用于内存错误检测。
   • 检测CUDA应用程序中的内存访问错误、泄漏以及其他内存相关问题。通过运行cuda-memcheck命令，可以检查CUDA应用程序的内存健康状况并提供详细的错误报告。
6. cuda-gdb：用于CUDA应用程序的调试。
   • cuda-gdb是一个支持CUDA的调试器，可以通过命令行界面来调试CUDA代码。它提供了一些常见的调试功能，如断点、变量查看、单步执行等。

环境准备

NVIDIA驱动更新

• 打开GeForce Experience软件，选择更新NVIDIA GeForce Game Ready驱动程序

CUDA安装

• CUDA下载地址

• CUDA（Compute Unified Device Architecture）是由NVIDIA开发的一种并行计算平台和编程模型。CUDA驱动程序是安装在计算机上的软件，用于支持和管理使用CUDA技术的NVIDIA GPU。

• CUDA驱动程序是一种支持和管理使用CUDA技术的NVIDIA GPU的软件。它提供了GPU管理、并行计算支持、性能优化和兼容性支持等功能，使开发者能够利用GPU的并行计算能力进行高性能的计算任务。

CUDA驱动程序的主要功能：

1. GPU管理：CUDA驱动程序负责识别和管理计算机中的NVIDIA GPU。它与操作系统交互，为每个GPU分配计算资源，并确保GPU与其他系统组件正确通信。

2. 并行计算支持：CUDA驱动程序使开发者能够使用CUDA编程模型，通过并行计算在NVIDIA GPU上运行计算密集型任务。它提供了CUDA API和工具，使开发者能够编写并行代码，并在GPU上执行高性能计算。

3. GPU性能优化：CUDA驱动程序提供了一些功能和工具，用于优化GPU的性能。例如，它可以进行GPU频率调整、内存访问优化和并行任务调度，以最大程度地发挥GPU的计算能力。

4. 兼容性支持：CUDA驱动程序与CUDA工具包共同工作，为开发者提供了对最新CUDA功能和库的支持。它确保CUDA驱动程序与使用CUDA编写的应用程序和库的兼容性，并提供与操作系统和其他驱动程序的适配。
   

• 安装完CUDA后，电脑会自动重启，重启后验证CURD的安装

nvidia-smi

Mon Nov 13 19:56:29 2023
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 546.01                 Driver Version: 546.01       CUDA Version: 12.3     |
|-----------------------------------------+----------------------+----------------------+
| GPU  Name                     TCC/WDDM  | Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |         Memory-Usage | GPU-Util  Compute M. |
|                                         |                      |               MIG M. |
|=========================================+======================+======================|
|   0  NVIDIA GeForce RTX 3060      WDDM  | 00000000:03:00.0  On |                  N/A |
|  0%   45C    P8              12W / 170W |    484MiB / 12288MiB |      4%      Default |
|                                         |                      |                  N/A |
+-----------------------------------------+----------------------+----------------------+

+---------------------------------------------------------------------------------------+
| Processes:                                                                            |
|  GPU   GI   CI        PID   Type   Process name                            GPU Memory |
|        ID   ID                                                             Usage      |
|=======================================================================================|
|    0   N/A  N/A      7724    C+G   ...ience\NVIDIA GeForce Experience.exe    N/A      |
|    0   N/A  N/A      8376    C+G   ....Search_cw5n1h2txyewy\SearchApp.exe    N/A      |
|    0   N/A  N/A      8880    C+G   C:\Windows\explorer.exe                   N/A      |
|    0   N/A  N/A      9360    C+G   ...GeForce Experience\NVIDIA Share.exe    N/A      |
|    0   N/A  N/A     10120    C+G   ...2txyewy\StartMenuExperienceHost.exe    N/A      |
|    0   N/A  N/A     11156    C+G   ...CBS_cw5n1h2txyewy\TextInputHost.exe    N/A      |
|    0   N/A  N/A     14492    C+G   ...__8wekyb3d8bbwe\WindowsTerminal.exe    N/A      |
+---------------------------------------------------------------------------------------+

• 结果分析：

  1. 驱动程序版本：当前使用的NVIDIA驱动程序版本为546.01。

  2. CUDA版本：当前使用的CUDA版本为12.3。

  3. GPU信息：

     • NVIDIA GeForce RTX 3060显卡，该显卡处于工作状态（On），温度为45摄氏度，性能状态为P8（较低性能模式），功率使用率为12瓦，总体功率限制为170瓦。
     • 显存使用率为484MB/12288MB（4%），表示显存的使用情况较低。GPU利用率为0%，表示GPU当前未执行计算任务。

  4. 进程信息：列出了当前正在使用GPU的进程列表。

     • 当前有以下进程正在使用GPU：NVIDIA GeForce Experience、Windows搜索、Windows资源管理器、NVIDIA Share、开始菜单体验宿主、文本输入宿主。

部署

• ChatGLM3 一键部署包
• 提取码：1234
• 解压后文件内容如下：一个是model也就是模型文件，第二个ChatGLM3是模型的驱动程序
  

补充内容

• 内存不够，可以设置虚拟内存
  设置，系统，高级系统设置，性能设置，高级，更改虚拟内存，选中空间充足的固态硬盘设置为系统管理的大小，点设置，重启电脑
  
• 公告，回车即可

• 如果您希望收到有用的入职邮件、新闻、优惠、促销信息以及偶尔的赠品，请在下方输入您的电子邮件地址。否则，请将此字段留空。
  
  
  

体验

• 整体运行占用显存8G左右，回答速度还可以（毕竟设备也就那样……还要求什么）
  
• 正常速度