跳到正文

SALMONN

能感知语音、音频事件与音乐的大语言模型

访问官网

SALMONN 是什么

SALMONN 被介绍为由清华大学电子工程系和字节跳动开发的大语言模型,支持语音、音频事件和音乐输入。它可以感知并理解各种音频输入,由此获得多语言语音识别与翻译、音频-语音共推理等新兴能力。

你可以用它做什么

  • 进行多语言语音识别
  • 进行多语言语音翻译
  • 进行音频-语音共推理

模型说明

  • 项目托管在 GitHub 的 https://github.com/bytedance/SALMONN
  • 语音、音频事件和音乐都被列为输入
  • 资料把它与仅支持语音或音频事件输入的模型作对比
  • 资料称这相当于给予大语言模型听觉与认知听觉能力

输入示例

  • 资料列出 gunshots.wav 作为输入
  • 资料列出 duck.wav 作为输入
  • 资料列出 music.wav 作为输入

优点与缺点

✓ 我们认可的地方

  • 可感知语音之外的各类音频输入
  • 具备翻译与共推理等资料列出的能力

! 需要留意的地方

  • 资料列出的输入范围是语音、音频事件和音乐
  • 资料将其定位为通向具有听觉能力的人工通用智能的一步

常见问题

由谁开发?

资料列出清华大学电子工程系和字节跳动。

支持哪些输入?

资料列出语音、音频事件和音乐。

最后评测: 2026-11-15

更多 AI 音频工具 工具

查看全部 →

评测方法