分类 AI语音识别
SALMONN 是什么
SALMONN 被介绍为由清华大学电子工程系和字节跳动开发的大语言模型,支持语音、音频事件和音乐输入。它可以感知并理解各种音频输入,由此获得多语言语音识别与翻译、音频-语音共推理等新兴能力。
你可以用它做什么
- 进行多语言语音识别
- 进行多语言语音翻译
- 进行音频-语音共推理
模型说明
- 项目托管在 GitHub 的 https://github.com/bytedance/SALMONN
- 语音、音频事件和音乐都被列为输入
- 资料把它与仅支持语音或音频事件输入的模型作对比
- 资料称这相当于给予大语言模型听觉与认知听觉能力
输入示例
- 资料列出 gunshots.wav 作为输入
- 资料列出 duck.wav 作为输入
- 资料列出 music.wav 作为输入
优点与缺点
✓ 我们认可的地方
- 可感知语音之外的各类音频输入
- 具备翻译与共推理等资料列出的能力
! 需要留意的地方
- 资料列出的输入范围是语音、音频事件和音乐
- 资料将其定位为通向具有听觉能力的人工通用智能的一步
常见问题
由谁开发?
资料列出清华大学电子工程系和字节跳动。
支持哪些输入?
资料列出语音、音频事件和音乐。
最后评测: 2026-11-15