项目简介

VibeVoice 是微软（Microsoft）开源的尖端语音 AI 模型家族，今日在 GitHub Trending 中强势登顶，单日新增 star 超过 31,900 颗。项目地址：github.com/microsoft/VibeVoice，官方主页：microsoft.github.io/VibeVoice/。

VibeVoice 涵盖文本转语音（TTS）与自动语音识别（ASR）两大核心能力，其核心创新在于采用超低帧率（7.5 Hz）连续语音标记器（声学与语义双轨），在维持音频保真度的同时大幅提升长序列处理的计算效率。项目基于下一代标记扩散框架，融合大语言模型的文本上下文理解能力与扩散头的高保真声学细节生成，带来了兼顾表达力与效率的语音 AI 体验。

核心模型一览

主要功能亮点

VibeVoice-ASR：长语音识别

• 单次 60 分钟：支持一次性处理长达 60 分钟的音频，跨越全程保持说话人跟踪与语义连贯性。
• 自定义热词：用户可提供人名、专业术语等热词列表，显著提升识别准确率。
• 结构化转录：同步输出语音识别、说话人分离和时间戳信息，清晰呈现"谁在何时说了什么"。
• 多语言原生支持：覆盖 50+ 种语言。

VibeVoice-TTS：长文本多说话人合成

• 单次合成 90 分钟：支持超长对话或独白的一次性合成，远超主流 TTS 工具的上限。
• 最多 4 人对话：可在同一段音频中呈现最多 4 个不同说话人，适合播客、有声书等场景。
• 情感与表现力：捕捉对话动态和细腻情感，生成自然流畅的语音。
• 多语言支持：包括英语、中文等主流语言。

VibeVoice-Streaming：实时流式 TTS

• 轻量高效：仅 5 亿参数，适合边缘部署与实时应用。
• 低延迟首响应：首音频片段延迟约 300 毫秒，满足实时交互需求。
• 流式文本输入：支持边输入边合成，无需等待完整文本。
• 稳健长语音：单次可生成约 10 分钟语音，稳定不断流。

技术架构亮点

VibeVoice 的技术突破主要体现在以下几点：

1. 超低帧率语音标记器：以 7.5 Hz 的帧率对语音进行声学与语义双通道编码，相比传统高帧率方法，大幅压缩序列长度，使 LLM 能以极低计算代价处理长音频。

2. 标记扩散框架（Token Diffusion）：结合大语言模型的语言理解能力与扩散模型的生成质量，在推理阶段通过扩散头迭代细化声学细节，兼顾语义一致性与音质保真度。

3. 统一训练范式：ASR 与 TTS 共享底层语音标记器和语言模型主干，知识互通，提升了模型的泛化能力。

安装与快速上手

项目依赖 Python 环境，具体依赖见仓库中的 pyproject.toml。

ASR 推理示例（基于 Hugging Face Transformers）：

1
2
3
4
5

from transformers import pipeline

asr = pipeline("automatic-speech-recognition", model="microsoft/VibeVoice-ASR-7B")
result = asr("your_audio.wav")
print(result["text"])

实时 TTS：可直接在 Google Colab 中运行官方提供的 Notebook，无需本地 GPU 环境。

详细安装与使用文档请参考：官方文档

风险提示与使用限制

微软在项目中明确了以下注意事项：

• 潜在偏见：模型输出可能存在意外偏差或不准确情况。
• 深度伪造风险：高质量语音合成能力存在被滥用于冒充、欺诈或虚假信息传播的风险，需负责任使用。
• 仅限研发用途：目前不建议在商业或生产环境中直接部署，VibeVoice-TTS 部分功能已依据负责任 AI 原则进行限制。
• 法律合规：用户需确保使用行为符合所在地区相关法律法规。

许可证

MIT License — 开源友好，欢迎学术研究与二次开发。

总结

VibeVoice 代表了微软在开源语音 AI 领域的重要布局。凭借超长音频处理能力、多说话人支持、实时低延迟流式合成，以及扎实的多语言基础，VibeVoice 有望成为语音 AI 应用开发者的有力基础设施。对于关注 TTS/ASR 前沿进展的研究者和工程师而言，这是一个值得深入探索的项目。

项目地址：https://github.com/microsoft/VibeVoice