使用amd显卡本地运行ollama模型(RX6700)

查看amd显卡是否支持ROCm        AMD支持官网

使用amd显卡本地运行ollama模型(RX6700)_第1张图片

因为RX6700不支持HIP SDK,所以需要根据型号去ROCmLibs查找对应压缩包

RX6700对应型号为gfx1031,对应的压缩包为

rocm.gfx1031.for.hip.sdk.6.1.2.optimized.with.little.wu.s.logic.7z

使用amd显卡本地运行ollama模型(RX6700)_第2张图片

下载安装包后,继续处理ollama的安装

因为官方不支持RX6700显卡加速,所以需要去ollama for amd安装对应的ollama使用amd显卡本地运行ollama模型(RX6700)_第3张图片

注意ROCmlibs与ollama要求版本对应

使用amd显卡本地运行ollama模型(RX6700)_第4张图片

ollama安装后,还需要对ollama进行配置

打开ollama安装目录,如C:\Users\v\AppData\Local\Programs\Ollama\lib\ollama

将之前下载的rocm包(注意rocmLib压缩包版本要与ollama要求版本对应)中的rocblas.dll替换掉C:\Users\v\AppData\Local\Programs\Ollama\lib\ollama目录里的rocblas.dll

将压缩包中的library文件夹,替换掉C:\Users\v\AppData\Local\Programs\Ollama\lib\ollama\rocblas\library

之后重启ollama即可

你可能感兴趣的:(ollama运行大模型,语言模型)