GGitHub 趋势观察站
每日 07:00 更新订阅EN
← 返回今日榜单

microsoft /

VibeVoice

提供带说话人与时间标记的语音转写及流式语音合成的模型系列。

访问 GitHub 仓库 ↗
最近上榜 · 2026-11-06#13

当日排名

+214当日新增 Star55,859总 Star

VibeVoice:把多人录音转为带说话人与时间的文本

一分钟看懂

VibeVoice 是微软的语音模型系列,包含语音识别和语音合成。做会议记录或访谈转写时,可以从识别模型开始,输出同时记录谁在说话、说话时间和文字内容。流式识别版本会随音频输入逐段输出文字。

你可以用它做什么

  • 把一段经授权的多人录音整理成按说话人区分的文本。
  • 在转写实验中加入姓名、缩写和领域术语作为热词。
  • 比较整段录音识别与流式识别的输出节奏。
  • 用实时语音合成版本试验逐步输入文本、逐步生成音频。

主要能力

ASR 文档说明长音频版本可处理最长约一小时的输入,输出带时间戳和说话人标记的结果。项目还提供流式识别与实时文本转语音的独立入口。CPU 量化识别版本使用另一个官方推理项目,准备环境时应先选定模型路线。

适合哪些人

适合做语音研究、会议记录原型、字幕生成和录音检索的开发者。对姓名、数字和说话人归属要求高的场景,需要安排人工核对。

怎么开始使用

首次可用官方识别演示处理一段公开或已获授权的短音频,对照原音检查文本、时间和人物。若要在本地运行,先按 ASR 文档准备推荐的 CUDA/PyTorch 环境和模型权重,进入仓库后安装依赖,再用官方单文件推理示例处理样本。

使用前需要知道

仓库代码采用 MIT。不同模型的计算环境和分发条件需分别查看模型卡。早期长篇多人合成的代码已从当前仓库移除,实时合成有独立说明。上传到在线演示的音频会离开本机。公开使用合成语音时应明确标注,并核对素材和声音授权。官方把这些模型定位为研究与开发,并建议进一步测试后再考虑商用。

官方资料