无需显卡本地部署Yi-34B-Chat进行角色扮演游戏 P2

4471
4
2024-02-23 14:32:30
正在缓冲...
91
54
173
11
无需显卡本地部署Yi-34B-Chat进行各种角色扮演游戏(纯CPU运行大语言模型)的第2集。 针对SillyTavern(酒馆)安装、设定的详细解说。 针对CPU运行koboldcpp(狗头)的优化技巧。 针对CPU运行koboldcpp(狗头)的优化 1.关闭BIOS中CPU的超线程功能(Hyper-Threading) 2.关闭BIOS中RAM的NUMA架构功能 3.启动参数--threads的使用   共24核CPU的参数--threads 21 安裝NodeJs wget https://deb.nodesource.com/setup_20.x chmod 777 setup_20.x ./setup_20.x rm ./setup_20.x apt update apt install nodejs -y 安装SillyTavern(酒馆) git clone https://github.com/SillyTavern/SillyTavern -b release 运行SillyTavern cd SillyTavern ./start.sh 修改SillyTavern配置文件 cd SillyTavern vi config.yaml 修改内容: listen: true whitelist:  - 127.0.0.1  - 192.168.1.0/24 SillyTavern设定(重要): SillyTavern的接口(API)连接设定 API Text Completion API Type KoboldCpp API地址 http://127.0.0.1:5001/api/ SillyTavern的其他设定
【菜墩上的鱼-游戏频道】一个独立游戏制作人的游戏频道,记录并分享游戏制作、游戏内容、生活等等。
客服
顶部
赛事库 课堂 2021拜年纪