LiveKit Agents：构建低延迟语音和多模态 AI 助手
一分钟看懂
LiveKit Agents 是一个用于开发实时 AI Agent 的开源框架。它让运行在服务器上的 Agent 作为可编程参与者加入音视频房间，持续接收用户语音或画面，调用语音识别、语言模型和语音合成，再把回答实时送回客户端。
它解决的不只是“把语音转文字再调用模型”，还包括通话连接、插话和轮次判断、任务调度、多用户会话、电话接入以及模型供应商切换等实时系统问题。
你可以用它做什么
制作能自然对话的语音助手
开发者可自由组合 STT、LLM、TTS 或端到端 Realtime API。框架提供语音活动与语义轮次检测，帮助 Agent 判断用户是否真的说完，降低过早打断或等待过久带来的生硬感。
接听或拨打电话
结合 LiveKit 的电话系统，可以开发客服、预约、外呼提醒和信息采集 Agent。通话过程中可以查询业务工具、切换人工坐席或在多个专用 Agent 之间交接。
构建可看、可听的多模态体验
Agent 不仅能接收音频，还可使用视频与客户端数据。典型场景包括视觉助手、视频角色、多用户转写、实时翻译和带屏幕上下文的支持服务。
测试非确定性的 Agent 行为
内置测试框架可以运行对话并断言工具调用、消息和意图，利用 Judge 检查回答是否满足目标。它不能消除模型随机性，但能把关键业务流程纳入持续集成。
主要能力
- 灵活组合多家 STT、LLM、TTS 与实时模型。
- 基于 WebRTC 的跨平台实时音视频连接。
- 内置任务调度、分发和多会话服务器运行方式。
- 支持电话、RPC、数据通道、MCP 工具和多 Agent 交接。
- 提供语义轮次检测、插话处理和会话状态管理。
- 拥有 Python 与 JavaScript/TypeScript SDK 及丰富示例。
- 支持终端测试、开发热重载和生产运行模式。
适合哪些人
它适合开发语音客服、实时陪练、电话 Agent、虚拟角色和多模态协作产品的团队。只需要上传一段录音后离线转写的项目，用普通队列任务会更简单；LiveKit Agents 的优势主要在实时和双向互动。
怎么开始使用
建议先运行最小语音示例，在终端模式测试麦克风和模型链路，再接入 LiveKit Cloud 或自托管 Server 与客户端。选择供应商时要分别测量识别、模型和合成延迟，并为断网、超时、插话和无声场景设计回退。
使用前需要知道
语音系统会处理录音、转写和可能的身份信息。正式使用前要取得用户同意，明确录音保存期限，并检查每个模型供应商的数据政策。电话外呼还受地区法规、号码和反骚扰规则约束。
实时体验受网络、模型延迟和费用共同影响。自动化测试之外仍需真人测试口音、噪声、多人抢话和长时间通话。涉及付款、医疗、法律或账户变更时，应加入明确确认和人工接管渠道。