最近折腾本地大模型的时候,发现了一个挺有意思的工具:Herdsman 牧马人。
相比我之前用过的 Ollama、LM Studio,它给我的感觉是更轻、更省事。基本免安装,打开就能用,而且会根据你电脑的硬件配置推荐合适的模型,这点对新手真的友好很多,不容易一上来就踩坑。
速度方面也挺意外的,同样的模型在一些场景下响应会比传统方案更快,资源占用也没想象中那么高,比较适合长期挂在本地跑。 另外它支持标准 API,可以直接给其他 AI 软件或者工作流工具调用,本地算力终于不只是“聊天”用了。
目前支持的模型也很多,像 Qwen、DeepSeek、Gemma、GPT 系列这些主流模型基本都能跑,而且会按代码、办公、知识库、日常聊天这些不同场景推荐模型,对普通用户来说确实省了不少研究时间。
如果你最近也在研究本地 AI,或者想把闲置算力利用起来,这工具还挺值得试试的。