用户指南 · 10

语音交互

10.1 语音输入(聊天框)

  • 单击麦克风按钮开始录音
  • 再次单击停止 → 自动转写为文字填入输入框
  • 录音中按 Esc 取消(不发送)
  • 转写依赖 STT_API_KEY(默认走 OpenAI Whisper,可在 per-admin API Keys 覆盖)

10.2 实时语音通话(LiveKit)

路径:设置 → 语音

通过 LiveKit WebRTC 与前台 Agent 实时对话;复杂任务由前台 LLM 委派给 OpenJellyfish 主 Agent(与文字对话共享 thread_id 与对话历史)。

使用前:部署方需配置 LiveKit Server、语音 Worker 插件,以及 LIVEKIT_URL / LIVEKIT_API_KEY / LIVEKIT_API_SECRET / VOICE_BRIDGE_SECRET 等环境变量。

调音台可配置

  • 问候语、系统提示、路由策略、打断策略
  • STT:OpenAI / Fish Audio / 阿里云 Paraformer
  • 前台 LLM:与 Chat 模型表一致(OpenAI / Anthropic / Kimi / MiniMax / Bedrock,经 Core 内置 OpenAI 兼容网关)
  • TTS:OpenAI / Fish Audio / 阿里云 CosyVoice

在调音台点击 试通话 或(若已接入 Chat 入口)发起通话即可。

10.3 实时语音对话(S2S WebSocket,旧路径)

  • 通过 WebSocket 直连 OpenAI Realtime API(/api/voice/ws
  • 适合第三方客户端或脚本集成;React 主界面以 LiveKit(§10.2)为主