跳到正文

ultravox-v0_4_1-llama-3_1-8b

同时接收语音与文本并输出文字的模型

访问官网

ultravox-v0_4_1-llama-3_1-8b 是什么

该模型被介绍为基于 Llama3.1-8B-Instruct 与 whisper-large-v3-turbo 的多模态语音大模型,接收语音和文本输入并输出文本。

你可以用它做什么

  • 把语音与文本送入同一个模型
  • 用伪标记把音频转换为嵌入
  • 由合并嵌入生成文本

上手流程

  • 安装 transformers、peft 与 librosa
  • 导入库并加载推理管道
  • 以 16000 采样率读取音频文件

优点与缺点

✓ 我们认可的地方

  • 资料列出适用于语音到语音翻译
  • 语音与文本共用一条输入路径

! 需要留意的地方

  • 输出为文本而非生成的语音
  • 声学音频标记被列为未来扩展

常见问题

输出是什么?

资料说明该模型生成文本输出。

基于哪些模型?

资料列出 Llama3.1-8B-Instruct 与 whisper-large-v3-turbo。

最后评测: 2026-11-15

更多 AI 写作助手 工具

查看全部 →

评测方法