事情的起因源于两张闲鱼上淘来的P104矿渣，以及ollama越来越拉跨的本地部署体验，遂决定追根寻祖，严肃下载llama.cpp部署体验。

1.llama.cpp下载

首先，前往llama.cpp官网下载Windows版本压缩包，我这里由于是P104，直接选择安装Windows x64 (CUDA 12) - CUDA 12.4 DLLs版本，建议一起把后面的DLLs文件一起下载下来。

https://llama-cpp.com/download/

llama.cpp官网

GitHub下载界面

下载下来就可以直接解压了，以我下载下来的文件夹为例。将解压后的dlls文件夹内文件移至llama-b9616-bin-win-cuda-12.4-x64这样的文件夹内，即可使程序成功识别cuda环境。

下载下来的文件

llama-b9616-bin-win-cuda-12.4-x64文件夹

2.llama.cpp启动

然后我建议大家自己写一个启动脚本，可以非常方便的修改启动参数。在文件夹内新建一个txt文件，输入llama-start这样的名称，编辑文件内容如下：

llama-server --host 0.0.0.0 --port 8080 --models-dir D:\models\llama

其中llama-server是启动其服务，--host 0.0.0.0是广播到局域网，--port是端口，如果有占用可以修改为别的， --models-dir后直接接模型文件夹位置，最后将文件后缀修改为.bat启动即可。

双击运行即可，出现以下界面。

在浏览器地址栏输入127.0.0.1:8080访问出现以下界面

此时就成功启动llama.cpp了，也是非常简单方便。

3. 模型下载

一般启动后都是没有模型可以使用的，这时我们就要去各种模型网站下载模型放在模型文件夹内。有条件的可以选择Hugging Face，或者国内魔搭社区modelscope下载起来也挺快的。

注意选择的模型格式要是GGUF的，我这里直接下的Qwen3.5 9B，网址在这https://www.modelscope.cn/models/unsloth/Qwen3.5-9B-GGUF

下载好后直接把这个GGUF文件扔到之前的模型文件夹内再启动就可以正常运行了。

对话

这个llama.cpp会和ollama一样自动识别双卡p104一起调用，速度非常不错，能到20t/s左右，比之前的ollama快多了，还不容易掉。

说实话部署起来也没有很难，虽说没有ollama易用，但是我还是建议对效率有追求的可以试试llama.cpp。

教程就到这里了，感谢你的观看。