跳到正文

SpeechGPT2

能感知并表达情感的端到端语音对话模型

访问官网

SpeechGPT2 是什么

SpeechGPT2 被介绍为复旦大学计算机科学学院开发的端到端语音对话语言模型,能够感知并表达情感,并根据上下文和人类指令以多种风格提供语音响应。补充信息称它是全端到端的类人语音对话模型,采用 750bps 超低比特率语音编解码器,并由 MIMO-LM 初始化。

你可以用它做什么

  • 在语音对话中感知并表达情感
  • 以说唱、戏剧、机器人、有趣和低语等风格响应
  • 用 750bps 语音编解码器模拟语义和声学信息
  • 生成一秒钟语音需要 25 个自回归解码步骤

上手流程

  • 访问 GitHub 页面获取技术报告和代码
  • 阅读技术报告,了解模型的架构和功能
  • 下载并安装运行模型所需的软件依赖项
  • 根据文档指引配置模型参数和训练数据

需要留意什么

  • 目前仍是基于轮次的对话系统,全双工实时版本正在开发
  • 资料提到受限于计算和数据资源
  • 语音理解的噪声鲁棒性与语音生成的音质稳定性仍有不足
  • 技术报告、代码和模型权重计划未来开源

优点与缺点

✓ 我们认可的地方

  • 多种语音风格随上下文与人类指令变化
  • 生成一秒钟语音需要 25 个自回归解码步骤

! 需要留意的地方

  • 目前仍是基于轮次的对话系统
  • 语音理解的噪声鲁棒性与语音生成的音质稳定性仍有不足

常见问题

由谁开发?

资料注明由复旦大学计算机科学学院开发。

内容都开源了吗?

资料说明计划未来开源技术报告、代码和模型权重。

最后评测: 2026-11-15

更多 AI 音频工具 工具

查看全部 →

评测方法