AMD RX5700运行ollama:deepseek-r1教程
purple_grapes
2025年02月04日 02:24

本垃圾佬去年双十二购入了一张5700纯纯大矿卡,2K中画质FSR到4K60帧畅玩主机游戏。今年deepseek蒸馏了qwen和llama,听说效果不错。心血来潮用ollama弄了一个7b的qwen浅尝了一下,奈何只能跑在r5 5500CPU上,每秒8个token等得人心碎。无意间在gayhub上看到了ollama-for-amd,甚至可以支持到RX580。结合网页链接​大佬文章,成功调通。因此分享给性价比党(romc yes!

第一步:下载HIP SDK(6.1.2版本)并安装

https://www.amd.com/en/developer/resources/rocm-hub/hip-sdk.html

第二步:下载ollama-for-amd并安装

https://github.com/likelovewant/ollama-for-amd

第三步:下载显卡对应的rocm版本(截至目前支持gfx906、gfx1100、gfx1010、gfx1011、gfx1012、gfx1031、gfx1032、gfx1034、gfx1035、gfx1036、gfx1103、gfx1150),例如RX 5700的代号是gfx1010,下载rocm.gfx1010-xnack-.for.hip.sdk.6.1.2.7z即可

https://github.com/likelovewant/ROCmLibs-for-gfx1103-AMD780M-APU/releases

第四步:将下载的显卡对应的ROCM替换掉HIP SDK和ollama-for-amd安装目录下的ROCM,LIBRARY文件夹同步替换

hip sdk目录(仅供参考):C:\Program Files\AMD\ROCm\6.1\bin(\rocblas)

ollama目录(仅供参考):C:\Users\fanghan\AppData\Local\Programs\Ollama\lib\ollama(\rocblas)

第五步:将HSA_OVERRIDE_GFX_VERSION=10.1.0添加到系统环境变量。(版本号与显卡对应的gfx代号对应)

第六步:重启电脑

注意:对于gfx906之前的显卡,例如580纯纯大矿渣(GFX803),可能需要下载v0.3.6版本以前的ollama,或者源码编译romc5.7的ollama(可能HIP SDK也需要下载5.7.1版本,笔者没试过,因为gfx1010不需要,嘿嘿~参考:https://github.com/likelovewant/ollama-for-amd/wiki)

BTW:按摩店的老显卡由于显存与算力的限制,跑不了啥大参数的模型,一般1G显存能支持1B参数(Q4)。实测deepseek-r1:7b占用7.3G显存,征用了0.5G的内存(可能导致性能下降),32token每秒勉强能玩。想要愉快体验大模型还是攒钱上标准ollama支持的6800以后的A卡,或者英伟达的大显存专业卡吧~