语义缓存是什么？有什么风险？

详细解析#

流程#

1. 先查精确缓存：问题归一化（去掉多余空格、统一大小写和标点）后算哈希，命中就直接返回，成本最低
2. 没命中时，计算问题的 Embedding，在缓存里找最相似的历史问题，同时按租户、Prompt 版本、模型版本过滤
3. 相似度超过阈值，并且通过了关键信息校验，返回缓存的答案
4. 否则调用模型，把问题、向量、答案和元数据（租户、版本、引用的文档、过期时间）写入缓存

阈值怎么取舍#

阈值没有通用的值：不同 Embedding 模型的相似度分布不同，换了模型就要重新调。做法是准备一批标注好的问题对（"可以用同一个答案"和"不可以"），在不同阈值下统计命中率和误命中率，按业务能接受的误命中率来选。

风险#

• 关键细节不同："怎么开通会员"和"怎么取消会员"，"北京明天的天气"和"上海明天的天气"，"能退款吗"和"不能退款怎么办"，向量可能非常接近，答案却完全不同
• 个性化内容："我的订单到哪了"这类答案依赖用户自己的数据，不能缓存
• 时效性内容：价格、库存、新闻、天气，缓存的答案很快就过期了
• 多轮对话："那它多少钱？"依赖上文，单看这句话没有意义。要先结合上下文把它改写成完整的问题，再查缓存
• 数据泄露：缓存的答案里如果带了某个用户的信息，再返回给别人就是泄露。缓存要按租户或用户隔离，只缓存不含个人数据的答案

降低误命中的办法：命中后再校验关键信息（抽取日期、数字、实体、否定词，要求一致）；用重排模型或小模型判断"这两个问题能不能用同一个答案回答"；只在明确的场景（FAQ、产品说明）启用；只缓存用户评价好的答案。

失效策略#

• 过期时间：按内容的时效性设置
• 版本：缓存的键和过滤条件里带上 Prompt 版本和模型版本，改动后旧缓存自然失效
• 数据源变化：记录答案引用了哪些文档，文档更新或删除时，清掉相关的缓存
• 用户反馈：被点踩的答案立即移出缓存

和其他缓存的区别#

响应缓存要求请求完全相同，不会答错，但命中率低；Prompt Caching 只复用输入前缀的计算，模型照样生成新的回答（见 Prompt Caching 是什么）；语义缓存的命中率最高，但只有它会答错。穿透、雪崩这些缓存的通用问题同样存在，见缓存穿透、击穿、雪崩。

代码示例#

const THRESHOLD = 0.92 // 示例值，要用标注数据针对自己的 Embedding 模型调整
const VERSION = 'faq-v3' // Prompt 或模型变化时更新，旧缓存自然失效

async function answerWithCache(question, { tenantId }) {
  const text = normalize(question)
  const exactKey = `qa:${tenantId}:${VERSION}:${sha256(text)}`
  const exact = await redis.get(exactKey)
  if (exact) return exact

  const vector = await embed(text)
  const [hit] = await vectorStore.search({ vector, topK: 1, filter: { tenantId, version: VERSION } })
  // 相似度够高，还要求关键信息一致（日期、数字、实体、否定词）
  if (hit && hit.score >= THRESHOLD && sameKeyFacts(text, hit.question)) return hit.answer

  const answer = await generateAnswer(question)
  // 不含个人数据、不涉及时效性内容的答案才缓存
  if (isCacheable(question, answer)) {
    await redis.set(exactKey, answer, 'EX', 86400)
    await vectorStore.insert({ vector, question: text, answer, tenantId, version: VERSION, expiresAt: Date.now() + 86400_000 })
  }
  return answer
}

面试官可能追问#

易错点#

• 把语义缓存当成和精确缓存一样安全，不做误命中的校验
• 照搬别人的相似度阈值，不同的 Embedding 模型分布不同
• 缓存不按租户隔离、不过滤个人数据，把 A 的答案返回给了 B
• 知识库更新了，缓存里还是旧答案