根据一个贡献者的PR build一个ollama二进制文件,可以运行任意量化版本和参数的qwen3-Reranker大模型啦,并非官方支持,官方后续支持尽情期待。
详见:https://github.com/ollama/ollama/pull/11389#issuecomment-3089786702
直接使用:
https://ollama.com/AuditAid/Qwen3_Reranker
如需CUDA运行,则需要按照官方说明build,且lib文件放到指定文件夹。