Mac 本地运行大语言模型方法与常见问题指南(Yi 34B 模型+32 GB 内存测试)

2334
0
2024-01-21 22:26:04
正在缓冲...
29
19
71
3
@林亦LYi 老师的启发制作。 Yi 模型 GitHub 网址:https://github.com/01-ai/Yi HF 模型 ID(GGUF):TheBloke/Yi-34B-Chat-GGUF 模型网盘下载链接: https://www.icloud.com.cn/iclouddrive/087IeLWduHOS6P60bLtmWtY3A#yi-34b-chat Text Generation WebUI GitHub 网址:https://github.com/oobabooga/text-generation-webui llama.cpp GitHub 网址:https://github.com/ggerganov/llama.cpp 更改显存大小代码(需 macOS 14 或更高版本):sudo sysctl iogpu.wired_limit_mb= 安装 gguf 依赖代码:pip3 install gguf 更改模型 token 参数代码: python3 + 空格 + ‘代码路径’ + 空格 + ‘模型路径’ + 空格 + tokenizer.ggml.eos_token_id 7 python3 + 空格 + ‘代码路径’ + 空格 + ‘模型路径’ + 空格 + tokenizer.ggml.bos_token_id 6 视频语音生成使用开源项目使用 Bert-VITS2 生成,GitHub网址:https://github.com/fishaudio/Bert-VITS2 Text Generation WebUI 也可以使用其它模型进行生成,同样推荐GGUF格式的模型,运行效果更佳。 感谢所有开源社区大佬的贡献!
客服
顶部
赛事库 课堂 2021拜年纪