设计一个实时语音对话的 AI 助手

详细解析#

第一步：澄清需求#

• 场景：App 里的语音助手、电话客服，还是陪伴类聊天？电话要接入电话网关，音质和延迟条件都不一样
• 延迟：假设目标是用户说完后 1 秒左右开始听到回复，作为下文延迟预算的基准
• 能力：要不要调用工具（查天气、下订单），要不要同时在屏幕上显示内容
• 语言：普通话、方言、中英混说
• 成本和隐私：按通话分钟数估算成本；录音要告知用户并取得同意，默认只保存文字记录

第二步：整体架构#

例如 OpenAI 的 Realtime API、Google 的 Gemini Live API 都提供端到端的实时语音能力。下面以级联流水线为例：

客户端：麦克风 → 回声消除、降噪 → 本地 VAD
   │  WebRTC：上行音频、下行音频，数据通道传控制事件
   ▼
媒体服务（接收音频流、管理播放队列、会话状态机）
   ├─► 流式 ASR：边听边出中间结果，判断用户说完后给出最终文本
   ├─► 对话服务：上下文 + 工具调用 → LLM 流式生成文本
   ├─► 断句：攒够一句或一个短语，就送去合成
   ├─► 流式 TTS：边合成边下发音频片段
   └─  打断：用户开口 → 停止播放、取消 LLM 和 TTS、截断历史

第三步：核心模块#

延迟预算（示例，全部是假设值）：

压缩延迟的手段：全链路流式；LLM 的输出按标点断句，第一句尽量短；服务之间保持长连接；用小而快的模型；系统提示保持稳定，命中提示缓存；需要调用工具时先播一句"我查一下"，掩盖等待时间。

VAD 和轮次判断：VAD 判断"有没有人在说话"，可以在客户端和服务端各做一次（如 Silero VAD 这类模型）。"用户说完了"不能只看静音时长，说话中间的停顿会被误判为结束。可以结合语义判断，比如"我想订一张去……"显然没说完，就多等一会儿；判断错了也要能补救，用户接着说时把两段合并成一句。

打断（barge-in）：

1. 客户端检测到用户开口，立即停止本地播放，这一步不能等服务端
2. 服务端取消正在进行的 LLM 生成和 TTS 合成，清空待播放的音频
3. 把这条回复在历史里截断到用户实际听到的位置，否则模型会以为用户听到了全部内容
4. 区分插话和附和：用户说"嗯""对"不应该打断，可以要求语音持续一定时长，或者识别出实际内容后再打断

客户端必须开启回声消除，否则扬声器播放的回复被麦克风录进去，会被当成用户在说话，助手就会自己打断自己。

传输选择：

WebSocket 的基础见 WebSocket，它和 SSE 的取舍见流式输出为什么常用 SSE。

第四步：关键难点#

对话状态管理：每个会话是一个状态机：聆听 → 思考 → 播报，被打断时回到聆听。所有事件（识别结果、生成片段、打断）都带上所属轮次的 ID，迟到的旧事件直接丢弃，避免上一轮的音频在新一轮里播出来。工具调用期间用户又开口了，要决定是取消调用，还是等结果返回后一起处理。

适合语音的输出：Prompt 要求回答简短、口语化，不输出表格、代码和 Markdown 符号；数字、单位、英文缩写在合成前做文本规范化（"3.5%"读作"百分之三点五"）。需要展示的结构化内容，通过数据通道同时发到屏幕上。

弱网处理：WebRTC 会根据网络状况调整码率；丢包和延迟持续偏高时，提示用户网络不佳，必要时建议切换到文字输入。断线后用会话 ID 重连，服务端保留会话状态和历史一段时间，重连后从当前轮次继续。

第五步：扩展与优化#

• 成本：ASR 通常按音频时长计费，TTS 按字符数，LLM 按 token；长时间静音的音频不送去识别
• 电话渠道：通过电话网关（SIP）接入，电话音频的采样率较低，识别模型要适配
• 可观测：记录每一轮各环节的耗时，延迟问题才能定位到具体环节

代码示例#

打断处理的核心逻辑（VAD、播放器、TTS 的接口各家不同，这里写成通用的形式）：

// 客户端：检测到用户开口，先停止本地播放，再告诉服务端实际播放到了哪里
vad.onSpeechStart(() => {
  if (!player.isPlaying) return
  const playedMs = player.stop() // 返回当前回复已经播放的时长
  channel.send(JSON.stringify({ type: 'interrupt', turnId: player.turnId, playedMs }))
})

// 服务端：取消生成和合成，把历史截断到用户实际听到的部分
function onInterrupt(session: Session, { turnId, playedMs }: InterruptEvent) {
  if (turnId !== session.currentTurnId) return // 过期的事件直接丢弃
  session.abortController.abort() // 停止 LLM 生成和 TTS 合成
  const reply = session.history.at(-1)!
  // TTS 返回了字级时间戳时可以精确对齐，否则按已经发送的句子粗略截断
  reply.content = textSpokenBefore(reply, playedMs)
  reply.interrupted = true
  session.state = 'listening'
}

面试官可能追问#

易错点#

• 只优化模型的速度，忽略了等待用户说完、合成首个音频片段这些环节，它们加起来往往更长
• 打断时只停止服务端，客户端缓冲里的音频还在继续播放
• 没开回声消除，助手听到自己的声音后打断自己
• 把 Markdown、表格直接交给 TTS 朗读