对于喜欢本地部署的小伙伴们，就在之前我实测了2.8bit量化的deepseek v4flash,此模型是专门给gfx1151适配的极致量化模型，所以以395的256gb带宽，其最终速度在22token/s，根据模型速度预测公式，其13e9 × 2.8 bit ≈ 36.4 Gbit ≈ 4.6 GB，物理极限在256 ÷ 4.6 ≈ 55 tok/s，相信这个数字会让大家大吃一惊，在某些人跑qwen小模型还在30几token的时候，已经有人贪婪到想要本地部署超大模型跑agent任务，正是本人，不过我实在是小看了量化带来的降智。

缺点：

1. 模型输入速度在80-110token/s,而deepseek harnss的agent框架在创造模式下字数上万的提示词+工具调用使得模型每次加载要在5分钟左右。

2. "2.8bit" 量化使得发布查找下载github任务时候连内部随机生成的下载数字都抄错两个导致任务死循环，且不确定是否因为量化导致失去对某些工具客观使用的能力

3. 量化严重导致思考模式无法使用，agent使用死刑

改进及优点：

1. 本地部署最好玩的其实不是使用而是折腾改进，deepseek本身的预填充+kv缓存可以极大缓解输入时间和记忆长度，实测循环kv记忆系统可以将万字工具加载压缩到10秒内执行完成，缺点1可以说基本解决

2. 理论上的全量kv本地缓存机制可以让你时时刻刻受到输入加速福利，其跨多话题本地记忆共享等等底层记忆互通，我们不再在意所谓上下文在云端api的局限性

3. 实测本地同任务总token花费在同类型api的1/3，以更轻便的上下文取得极致的胜利，缓存击中理论可以达到99%以上（吐槽：真的会有人本地部署这个长时间用吗？）

可以说，这个模型研究价值>使用价值，想玩的同学可以放心玩，再说一下未来我对于本地部署模型的想法和推荐。

最近qwen发布的一款qwen flash nect 的170b+的大模型实测速度在18token左右，带宽使用56gb,相信看到18token的时候大多数人嗤之以鼻认为速度慢的要死，但是这只是没有优化的结果，物理理论速度此模型可以达到70多token的速度，实际在四并发+宽带测量，此模型有望冲击40token,极致优化下可能50token/s成为本地新秀（注，超过40以后kernel已经成为束缚），其4.2bit的基本适用所有agent项目，且此模型在agent实际性能就是为了比超deepseek flash模型。它能不能成为395主力模型还要看社区优化和大家努力了。

如果还想看更多我的帖子可以关注一下，虽然我才刚做。