铭鸿体育资讯网

NVIDIA推出VoiceChat11B模型

NVIDIA 发布了 NemotronLabs VoiceChat 11B——一款开放的端到端全双工语音模型。

VoiceChat 11B拥有11B参数规模,使用约55万小时音频数据训练,模型权重已开放至 Hugging Face。

✨核心亮点:

1. 一个模型完成语音理解与生成

VoiceChat 11B将语音理解和语音生成整合到同一个模型中。用户输入语音后,模型可以完成内容理解,同步输出语音回复、文本回复以及用户实时转录结果。

2.支持全双工实时对话

VoiceChat 11B支持在生成回复时继续接收用户声音,用户可以随时打断AI,模型也可以持续监听当前对话。

3.首个支持工具调用的开放全双工模型

VoiceChat 11B支持在语音对话过程中调用外部工具,并通过预定义等待消息保持交互连续。

📊在公开测试中,VoiceChat 11B响应延迟约448ms,用户打断延迟约480ms;VoiceBench开放全双工模型排名第2,Full-Duplex-Bench 1.0开放模型排名第2。