在线工具

提示缓存收益估算器

前缀占比决定天花板,命中率决定你能摸到多高。

元1410.00
不开缓存月成本
元978.00
开缓存月成本
元432.00
每月节省
30.6%
节省比例

固定前缀占总输入的 57.1%,这是缓存收益的理论上限来源; 命中率拉满时最多能省 元540.00 / 月。

当前实际输入均价约 1.177 / 百万 token。 命中率上不去多半是前缀被时间戳、请求 ID、用户信息或遍历顺序污染了。

先说清楚性质:这个页面上的所有金额,都是把你填进去的 token 数、单价和命中率 做了一遍算术,工具不联网、不内置任何服务商的价格,输入框里的初始值只是占位数字。 实际能省多少,一切以你自己的监控数据与账单为准。

缓存省的到底是哪一块钱

提示缓存的原理并不复杂:如果你每次请求的开头都是同样一大段内容, 服务端可以把这段内容处理后的中间状态存下来,下次遇到一模一样的开头就直接复用, 省掉重复计算,因此这部分 token 可以按一个明显更低的单价计费。 关键词是「一模一样」「开头」—— 它匹配的是从第一个 token 起连续相同的那一段,中间断了就全断了。

这决定了一件很重要的事:缓存能省的钱,天花板是固定的, 就是「固定前缀占总输入的比例」乘以「标准价与缓存价之间的差额」。 它动不了变化输入那部分,更动不了输出那部分。 很多人对缓存抱有不切实际的期待,是因为脑子里只有「省了 90%」这类单价降幅的印象, 却忘了这个降幅只作用在整张账单的一小块上。这个工具存在的意义, 就是把这块占比和最终降幅算给你看。

这个工具具体算什么

输入八个参数:固定前缀 token、变化输入 token、单次输出 token、日调用次数, 以及标准输入价、缓存命中价、输出价和缓存命中率。工具按 30 天折算月成本,输出四组数字。

不开缓存的月成本是基准线:全部输入按标准价计,加上输出成本。 开缓存的月成本是加权结果:前缀里命中的那部分按缓存价计, 没命中的那部分退回标准价,变化输入始终按标准价计,输出成本不变。 两者相减得到每月节省额,再除以基准线得到节省比例。 除此之外还有两个诊断值:一是固定前缀占总输入的百分比,也就是前面说的天花板来源; 二是命中率拉满时的理论最大节省额,你可以拿它和当前节省额比,看还有多少空间没吃到。 最后还会给出当前的实际输入均价,方便你和标准价做直观对照。

结果怎么读,以及它的边界在哪

建议的读法是先看前缀占比。如果这个数很低,说明你的调用形态本身就不适合靠缓存省钱, 与其调命中率,不如回头看看能不能把稳定不变的内容尽量前移、聚拢成一整段。 如果前缀占比不低但节省额离理论上限差很远,那问题就出在命中率上, 常见原因是前缀里混进了时间戳、请求 ID、随机排序的工具列表或者用户标识这类每次都变的东西, 它们会让匹配从那个位置起整段失效。

局限同样要说清楚。工具按 30 天等量折算,不考虑周内波动和节假日; 它把命中率当成一个稳定的平均值,而真实命中率会随流量密度和缓存有效期起伏; 它没有把可能存在的缓存写入计费、最小前缀长度门槛、缓存有效期这些规则差异建模进去, 这些细则各家不同,需要你自己核对所用服务的计费文档。所以这里算出来的是决策参考—— 帮你判断「值不值得改造」这个量级问题,而不是用来预测下个月账单的具体数字。

延伸阅读

想搞清楚提示缓存的机制细节和改造做法,可以读 Prompt Caching 省钱原理与实践, 里面讲了命中条件和适用场景;如果你的场景里还有大量重复请求, 缓存复用减少重复调用 这篇讲的是在提示缓存之外再加一层应用层结果缓存,两层配合能把边际成本压得更低, 建议在动手改造前先看一遍。

常见问题

固定前缀和变化输入怎么区分?

固定前缀指的是每次调用都一模一样、且位置固定在最前面的那一段内容,典型的有系统提示词、工具或函数定义、常驻的业务规则说明、少样本示例。变化输入则是每次都不同的部分,比如检索回来的文档片段、对话历史、用户当前这句话。区分标准只有一条:从第一个 token 开始,连续有多少 token 是逐字不变的,那一段才算前缀。中间只要有一个字不一样,从那里往后就全部算变化输入。

单价那几栏要填什么?会不会有默认值可以直接用?

要填你自己实际适用的单价,口径是每百万 token 多少钱,三栏分别是标准输入价、缓存命中时的输入价、输出价,币种由你自己保证一致。工具里的初始值只是占位数字,不代表任何服务商的真实报价,也不构成价格参考。请去你实际使用的那家服务的计费页面查当前价格再填。另外注意有些计费规则里写入缓存本身也可能单独计价,这部分本工具没有建模。

命中率填多少合理?

没有通用答案,只能实测。命中率取决于你的前缀是不是真的逐字稳定、两次调用之间隔了多久、以及服务端缓存的有效期策略。工具的做法是把你填的命中率当作前缀中被命中的比例:命中的那部分按缓存价计,没命中的那部分和变化输入一起按标准输入价计。建议的用法是先填一个保守值算出下限,再填 100% 看理论上限,真实收益一定落在这两个数之间。

结果里的「节省比例」为什么没有我预期的那么高?

因为分母是包含输出成本的总账,而缓存只作用于输入里的固定前缀那一部分。工具会直接给出固定前缀占总输入的比例,这个比例就是收益的天花板来源:前缀占比越低,缓存能撬动的份额越小。如果你的调用是长输出、短前缀的形态,那即使命中率拉满,总成本的降幅也有限。这种情况下该优化的是输出长度或模型选择,而不是死磕缓存。

一个 Key,接入所有主流模型

力达云聚合 API 内测开放中:统一接口调多家模型、按量计费、稳定合规接入。

申请内测

这个页面有问题?

提交时会附带当前页面地址和浏览器信息,帮助我们定位问题。不填联系方式即为匿名。