用户指南 · 10
语音交互
10.1 语音输入(聊天框)
- 单击麦克风按钮开始录音
- 再次单击停止 → 自动转写为文字填入输入框
- 录音中按 Esc 取消(不发送)
- 转写依赖
STT_API_KEY(默认走 OpenAI Whisper,可在 per-admin API Keys 覆盖)
10.2 实时语音通话(LiveKit)
路径:设置 → 语音
通过 LiveKit WebRTC 与前台 Agent 实时对话;复杂任务由前台 LLM 委派给 OpenJellyfish 主 Agent(与文字对话共享 thread_id 与对话历史)。
使用前:部署方需配置 LiveKit Server、语音 Worker 插件,以及 LIVEKIT_URL / LIVEKIT_API_KEY / LIVEKIT_API_SECRET / VOICE_BRIDGE_SECRET 等环境变量。
调音台可配置:
- 问候语、系统提示、路由策略、打断策略
- STT:OpenAI / Fish Audio / 阿里云 Paraformer
- 前台 LLM:与 Chat 模型表一致(OpenAI / Anthropic / Kimi / MiniMax / Bedrock,经 Core 内置 OpenAI 兼容网关)
- TTS:OpenAI / Fish Audio / 阿里云 CosyVoice
在调音台点击 试通话 或(若已接入 Chat 入口)发起通话即可。
10.3 实时语音对话(S2S WebSocket,旧路径)
- 通过 WebSocket 直连 OpenAI Realtime API(
/api/voice/ws) - 适合第三方客户端或脚本集成;React 主界面以 LiveKit(§10.2)为主