语义缓存
也叫：Semantic Cache · 语义相似缓存 · 大模型语义缓存
语义缓存将请求向量化并搜索相近的历史请求，命中后复用回答，以减少模型调用和等待。
他们说
按请求的语义相似度匹配并复用已有模型响应
老白翻译
用户换了一种说法，只要意思足够接近，系统就把以前的答案拿来复用。
它到底是什么
语义缓存用嵌入与相似度判断查找含义接近的历史请求。匹配达到设定门槛时，应用可以直接返回缓存答案，跳过一次模型生成。
生活里的例子
“发票怎么开”和“电子发票在哪里申请”可能指向同一办事流程。经过验证后，客服系统可以让它们复用一份稳定答案。
常见误解
- 误解：命中率越高越好。 门槛太宽会产生错误命中，把相近话题当成同一个问题。
- 误解：语义缓存等同于提示词缓存。 语义缓存复用相近请求的回答，提示词缓存通常复用重复前缀的处理结果。
- 误解：语义缓存等同于 KV 缓存。 KV 缓存保存一次生成内部的注意力状态，所处层次不同。
普通人怎么用
从答案稳定的固定问答开始，给缓存键加入租户、权限和内容版本，人工评估正确命中与错误命中。