VibeVoice:把多人录音转为带说话人与时间的文本
一分钟看懂
VibeVoice 是微软的语音模型系列,包含语音识别和语音合成。做会议记录或访谈转写时,可以从识别模型开始,输出同时记录谁在说话、说话时间和文字内容。流式识别版本会随音频输入逐段输出文字。
你可以用它做什么
- 把一段经授权的多人录音整理成按说话人区分的文本。
- 在转写实验中加入姓名、缩写和领域术语作为热词。
- 比较整段录音识别与流式识别的输出节奏。
- 用实时语音合成版本试验逐步输入文本、逐步生成音频。
主要能力
ASR 文档说明长音频版本可处理最长约一小时的输入,输出带时间戳和说话人标记的结果。项目还提供流式识别与实时文本转语音的独立入口。CPU 量化识别版本使用另一个官方推理项目,准备环境时应先选定模型路线。
适合哪些人
适合做语音研究、会议记录原型、字幕生成和录音检索的开发者。对姓名、数字和说话人归属要求高的场景,需要安排人工核对。
怎么开始使用
首次可用官方识别演示处理一段公开或已获授权的短音频,对照原音检查文本、时间和人物。若要在本地运行,先按 ASR 文档准备推荐的 CUDA/PyTorch 环境和模型权重,进入仓库后安装依赖,再用官方单文件推理示例处理样本。
使用前需要知道
仓库代码采用 MIT。不同模型的计算环境和分发条件需分别查看模型卡。早期长篇多人合成的代码已从当前仓库移除,实时合成有独立说明。上传到在线演示的音频会离开本机。公开使用合成语音时应明确标注,并核对素材和声音授权。官方把这些模型定位为研究与开发,并建议进一步测试后再考虑商用。