线上工具是租用，是依赖，本地工具是才是自己的
把一个“GPT”装进你的机箱，总共分3步：模型、显卡、框架
一、模型
GPT没有开源，尽管免费在线使用，也有便宜的API可以调用，但都依赖严格的网络，对其进行拓展、定制、二次开发的空间十分有限。而开源大模型给了平民参与的机会，尤其是国产近两年开始大幅追赶
国内外百模大战
在对比了LLaMa、ChatGLM、Qwen等多个开源模型后，我发现阿里的Qwen(通义千问)在各参数规模下的表现，几乎都优于同规模的其他模型，尤其中文语境
Qwen1.5的72b已经对标GPT4了
而且它的量化损失较小，这意味着能在更小的显卡上部署更大的版本。
同参数下，量化版的差别微小
目前来看，Qwen应该是最适合个人本地部署的LLM模型，最新开源版本1.5
抱脸平台主页：https://huggingface.co/Qwen
但是抱脸网站需要科学上网，而且用git下载很困难，更推荐国内平替：魔塔社区
魔塔平台主页：https://modelscope.cn/organization/qwen
二、显卡
众所周知，跑AI，显存要大！多大？上不封顶！🤔那我们平民玩家，就要找到“够用”与“性价比”的平衡点；我综合了玩SD炼丹LLM的经验是：8G体验→12G入门→16~24G畅玩→32G开发，16G是一个刚好舒适的档位，在市新卡最便宜的是4060Ti16G，市场价3200~3600，也是我使用的显卡，详细装机测评文章：
那么16G显存能跑多大参数呢？FP16(半精度)不量化的情况下，可容纳6-8b，如果量化到Int4，可容纳13~15b
Qwen推理的最大占用
因此可选择Qwen1.5的14b量化Int4版本，实测显存占用12.6G左右，4060Ti的算力也足够流畅运行(纯对话，若加载较多向量数据或历史对话，可能会拖慢速度)
有3种量化版，个人推荐GPTQ版
如果你想用更大的模型，会发现14b再往上基本不是70多b，就是没开源，70b就算量化也需要48G显存，最低也得3w元的A6000😅；所以只是推理的话，这个档位基本够用，微调训练的需求会大一些，可以选24-32G的如3090和5000Ada，但我更建议直接上云端
三、框架
有了软件、硬件，最后是驱动，推理框架能够让模型在硬件上跑起来，与你对话，还能嵌入一些扩展能力；目前较成熟、使用较多的框架是LangChain
GitHub主页：https://github.com/langchain-ai/langchain
而我强力推荐的，是由国内作者基于LangChain进一步开发的Langchain-Chatchat，在GitHub有2.7w⭐️
GitHub主页：https://github.com/chatchat-space/Langchain-Chatchat
它支持各种本地模型、在线模型API、文档读取、本地向量知识库、搜索引擎API、甚至还有Agent；最新稳定版本2.10
准备好硬件后，部署过程就是配置环境→下载模型和框架→安装依赖库→初始化框架→启动，摸透以后其实也简单，但第一次你很可能像我一样遇到各种报错😭，我踩了大量的坑才走通，我把整个过程包括遇到的问题解法，单写了一篇教程文章，如果你也想动手尝试，也许能帮你走弯路
那么14b的Qwen1.5表现如何？
理论分数略低于GPT3.5，但我的实际感受是总体持平，部分场景优于GPT3.5，甚至接近GPT4的水平，即便量化后似乎也没受影响，我做了一些常见的陷阱测试：
这个表现很可以了。到这里，一个近似chatGPT塞进了你的平价电脑，你可以无限制使用！
更重要的是：
还可以对它进一步拓展、定制、二次开发！
本地服务启动
多种API调用支持
接下来，我会对其能力进一步拓展和评测，欢迎关注。最后，感谢阿里、清华、和一众社区开发者，感谢开源世界
