跳到正文

ultravox-v0_4_1-mistral-nemo

同时处理语音与文本的多模态语音大模型

访问官网

Ultravox 是什么

ultravox-v0_4_1-mistral-nemo 被介绍为一个多模态语音大型语言模型,可同时处理语音和文本输入并生成文本。

你可以用它做什么

  • 用文本系统提示搭配语音用户消息
  • 用特殊伪标记把输入音频转换为嵌入
  • 用于语音翻译与音频分析

优点与缺点

✓ 我们认可的地方

  • 训练使用知识蒸馏损失
  • 适用于语音到语音翻译场景

! 需要留意的地方

  • 当前输出为文本而非语音
  • 语义与声学音频标记计划在未来版本支持

常见问题

由谁开发?

资料说明由 Fixie.ai 开发,采用 MIT 许可。

输出是什么?

资料说明模型基于合并的嵌入输入生成输出文本。

最后评测: 2026-11-15

更多 AI 音频工具 工具

查看全部 →

评测方法