无需显卡本地部署Yi-34B-Chat进行各种角色扮演游戏(纯CPU运行大语言模型)的第2集。
针对SillyTavern(酒馆)安装、设定的详细解说。
针对CPU运行koboldcpp(狗头)的优化技巧。
针对CPU运行koboldcpp(狗头)的优化
1.关闭BIOS中CPU的超线程功能(Hyper-Threading)
2.关闭BIOS中RAM的NUMA架构功能
3.启动参数--threads的使用 共24核CPU的参数--threads 21
安裝NodeJs
wget https://deb.nodesource.com/setup_20.x
chmod 777 setup_20.x
./setup_20.x
rm ./setup_20.x
apt update
apt install nodejs -y
安装SillyTavern(酒馆)
git clone https://github.com/SillyTavern/SillyTavern -b release
运行SillyTavern
cd SillyTavern
./start.sh
修改SillyTavern配置文件
cd SillyTavern
vi config.yaml
修改内容:
listen: true
whitelist:
- 127.0.0.1
- 192.168.1.0/24
SillyTavern设定(重要):
SillyTavern的接口(API)连接设定
API
Text Completion
API Type
KoboldCpp
API地址
http://127.0.0.1:5001/api/
SillyTavern的其他设定