提示词缓存
也叫：Prompt Caching · 上下文缓存 · Context Caching
提示词缓存会复用近期请求中完全相同的输入前缀，命中效果取决于长度门槛、前缀稳定性与有效期。
他们说
通过缓存重复的 prompt prefix 降低输入延迟和成本
老白翻译
一大段固定资料刚读过，下一次先别让模型服务从头再读。
它到底是什么
提示词缓存让模型服务保存近期处理过的相同输入前缀。后续请求再次带上这段内容时，可以复用缓存，减少重复输入的处理时间和费用。
生活里的例子
一个客服助手每次都要读取同一份服务规则和产品手册，只有最后的用户问题会变。固定资料适合放在前面，变化内容放在后面，缓存更容易命中。
常见误解
- 误解：打开缓存以后每次请求都会便宜。 请求太短、前缀有变化或缓存已经过期，都可能无法命中。
- 误解：缓存会让回答内容保持不变。 它复用输入处理，输出仍由模型按当前请求生成。
- 误解：把时间戳放在开头没有影响。 前缀要求完全一致时，一个变化字段也会产生新的缓存结果。
普通人怎么用
先把系统规则、共用资料和示例放在提示前面，把用户问题与实时数据放到最后。随后查看 API 返回的缓存命中 token 和耗时，确认业务真的得到收益。