
你知不知道你的AI工具会话中有很多Token刺客,藏在你看不见的地方。只有运行高效的会话,才能以最大限度地发挥每个Token的价值。
Claude官方做过一个实验,同一项编码任务交给两个工程师。一个是熟练老手,一个是刚入门的新手。
老手直接定位目标文件,改完走人。新手呢?一通盲目搜索,读了十几个压根不相关的文件,执行了一堆低效检索。
两边最终结果出来,Token消耗差了好几倍。

你可能觉得,这跟编码水平有关,我又不是新手。
但仔细想想,你知道你每次操作烧了多少Token吗?大多数人其实不知道。
以前用VS Code也好,JetBrains也好,修1个bug和修50个bug,工具成本没区别。月费一交,随便用。
但到了Claude Code这类AI编程智能体,情况完全不一样了。每次文件搜索、每次代码读取、每次重构操作,都在消耗Token。每一个编码任务都有真实的开销。
从固定月费变成了按次计费。你的每一步操作都挂上了价格标签,只是大多数时候你看不见。
要搞清楚钱花在哪,得先看一次API请求在硬件层面发生了什么。
请求分两步走。
第一步叫Prefill,GPU并行读取你发过去的提示词,速度很快,吞吐极高。
第二步叫Decode,模型一个字一个字地往外蹦,串行推理,占用GPU时间长得多。
打个比方,Prefill是整列高铁同时停靠站台,瞬间完成。Decode是每节车厢依次拆卸,慢慢往外搬。
直接后果就是,输出Token的单价约为输入的五倍。

所以省钱的重点在控制输出。你让模型少说两句废话,比你精简提示词管用得多。
GitHub和Hacker News上有开发者做过实测。在没清理上下文的复杂会话中,单次任务排查烧掉了五十万Token。
五十万Token什么概念?比短会话多出了四到六倍的开销。
原因很简单。你以为你在跟模型讨论当前问题,但之前所有的排查日志、报错信息、调试记录,都随着每一轮请求全量重发。每一轮,无差别重发。
这些上下文你没主动塞,但它们一直在那里跟着你。直到你看到账单才会发现。
接下来讲一个能直接砍账单的机制,Prompt Caching。
缓存命中后的读取价格,只要常规输入的十分之一,打一折。首次写入成本是常规输入的两倍,但从第二轮对话开始,你就拿到了一折红利。
用修复单元测试举个例子,看五轮流转的实际计费。
首轮请求,系统指令和配置写入缓存,要付2倍写入成本。
第二轮读测试文件,前面的历史全部一折读取。
第三轮定位代码,第四轮编辑,第五轮验证。
整个过程里,绝大多数Token都是按 0.1倍结算的。

会话轮次越多,平均单轮成本越低。你不需要理解底层实现,记住一件事就行,让会话多轮进行,每一轮的成本自然被摊薄。
Prompt缓存像一列按固定顺序编组的高铁。
头部是工具定义,接着是系统提示词,然后是项目配置文件(比如 CLAUDE.md),最后才是会话历史。四层按严格顺序组装,每一层依赖前一层的缓存。
只要前面的车厢改了一个字,后面所有车厢都得重新挂载,全量重新计费。这就是缓存击穿。
最容易触发击穿的操作是什么?中途切模型。
每个模型维护独立的缓存空间。你从Sonnet切到Opus,之前几十轮的历史会以新模型价格全量重算。中途开启Fast Mode也一样,缓存Key变了,全额重来。
有没有跟老王一样,总爱中途改模型换挡的朋友?我以前也这样,觉得自己很聪明。结果一查Token耗用量,傻眼了。
原理讲完了,落到日常操作上,最容易出事的就三个地方。
第一个,中途切模型。 每个模型的缓存空间独立。你以为切一下很快,实际上是让系统把之前所有对话重新算一遍。开一个新会话的成本远低于在旧会话里换模型。
第二个,走错分支后用 /compact 而不是 /rewind。 compact 会重写历史,缓存前缀全部作废。rewind 只截断尾部的无效轮次,前面的缓存完整保留,零额外重算成本。这两个命令看着差不多,对账单的影响完全不同。
第三个,简单任务不关思考模式。 日常会话可以用effort命令调节思考档位。碰到格式转换、简单重命名这种机械活儿,直接设MAX_THINKING_TOKENS 为零,关掉思考。输出Token单价是输入的五倍,让模型别想直接干,省下来的钱比你精简提示词要多得多。
这三个坑我自己都踩过。特别是第三个,以前总觉得让模型多想想质量更好,后来发现好多任务压根不需要想。
回到开头那个问题。同一个任务,Token消耗差10倍。
差距不在技术水平,而在会话管理意识。
我自己在用Hermes Agent的时候,设了一个自动压缩阈值,当上下文达到50%时自动压缩,目标压到20%。这样既保留了关键上下文,又避免了无意识的拖拽膨胀。
掌握高效会话管理,才能最大限度地发挥每个Token的价值。
这不是一个关于省钱的技术问题。这是一个关于如何在AI编程时代建立新的工程习惯的问题。
你的Token预算是有限的,但你能让每个Token发挥的价值,取决于你对这个系统的理解深度。