跳到正文

SpeechGPT

具备跨模态对话能力的多模态语言模型

访问官网

SpeechGPT 是什么

SpeechGPT 被介绍为一种具有内在跨模态对话能力的多模态语言模型。它能够感知并生成多模态内容,并遵循多模态人类指令。

你可以用它做什么

  • 感知并生成多模态内容
  • 通过信息链生成语音
  • 用多模态多代理系统模拟人类沟通
  • 进行统一的语音标记

模型说明

  • SpeechGPT 用于多模态对话生成
  • SpeechGPT-Gen 是扩展了信息链的语音生成模型
  • SpeechAgents 用多代理系统模拟人类沟通
  • SpeechTokenizer 是适用于语音语言模型的统一语音标记器

优点与缺点

✓ 我们认可的地方

  • 在一个模型中完成多模态感知与生成
  • 为语音语言模型提供统一的语音标记器

! 需要留意的地方

  • 资料列出的用途围绕各个具名模型变体
  • 各项能力由不同的具名组件承载

常见问题

这是什么样的模型?

资料描述它是具有内在跨模态对话能力的多模态语言模型。

资料列出了哪些组件?

除 SpeechGPT 外还列出 SpeechGPT-Gen、SpeechAgents 和 SpeechTokenizer。

最后评测: 2026-11-15

更多 AI 音频工具 工具

查看全部 →

评测方法