部署本地大模型和使用在线无道德模型的教程在我的其余专栏里
无图，因为对话过于劲爆，影响我的光辉形象
由于不可抗力因素, 文中使用404进行指代
本地大模型优势
总有大模型道德限制极低
总有角色扮演的第三方微调版(比如使用p站小说语料进行微调)
其中最至关重要的就是语料，因为大模型能够获得足够的数据，才能输出高质量404内容
否则写出来的404内容，会如同小学生幻想404一般干涩无力
其次本地大模型往往更听从指令，要求写xx字，会尽量写到那么多
本地大模型缺点
显存真tm贵！
如果速度只要求5-10token/s（人眼阅读速度）
那么显存4-8g可以跑20b大模型
8-16g是32b
24g-50g是70b
能够破除道德限制或几乎无道德的在线模型优点
综合能力强，参数往往大于130b
如deepseek 236b，马斯克的gork 314b
更适合扮演同人角色，这样能充分发挥参数量大带来的知识量庞大的优势
输出速度快，至少会有20token/s
在线模型缺点
目前几个在线模型破限制都不稳定，还可能有关键字审核
随时有可能不回复，甚至封号
尤其是claude，疯狂封杀破限
gpt4o则是不稳定，有关键字识别
gemini虽然免费，但依旧会有不回复的情况
国产的deepseek则是罕见的无道德，无审核，但语料缺乏404，写的比较干巴巴，404语句重复度较高，如果是重口，会出现重复之前的内容，死活不写新内容，并且还导致了404字数较少的情况
马斯克的gork，也是404语料较少，并且中文文笔很差，还不如12b模型
综上所述，还得是本地部署70b大模型且速度至少有5-10token
推荐使用p40,p100，魔改2080ti，凑出至少48g显存，多卡之间使用pcie-switch交互数据(绕过cpu，降低延迟)
或者万元级的，ddr内存带宽较大(接近gddr6带宽)的服务器cpu+至少64g以上内存，推荐128g
苹果m3，m4的128g版本也能跑70b，因为用的是统一内存，cpu核心共用内存，速度接近显存
不过上限不高，并且性价比较低
最后则是本地大模型推荐
L3-70B-Euryale-v2.1
综合能力强，但没有特别突出的，世界书(知识库)检索能力较弱，适合角色扮演，听从指示
magnum-32b和magnum-72b v2
注意推荐v2版本，v4版本则是想象力丰富但智商降低
这个系列模型基于阿里巴巴的qwen，中文很不错
是比较万金油的模型，非常适合404
turbcat-instruct-72b
中文不错，更拟人的模型，适合扮演具体的，性格鲜明的角色进行对话，但不适合系统类，世界类等npc较多，逻辑需求交给的场景，也不是很擅长写旁白剧情
部署本地大模型和使用在线无道德模型的教程在我的其余专栏
一些大模型链接
https://pan.baidu.com/s/1-KI2Qe3sA1aTwEK66pGFFQ?pwd=1234
