分类 AI语音助手
标签 AI 音频
SpeechGPT2 是什么
SpeechGPT2 被介绍为复旦大学计算机科学学院开发的端到端语音对话语言模型,能够感知并表达情感,并根据上下文和人类指令以多种风格提供语音响应。补充信息称它是全端到端的类人语音对话模型,采用 750bps 超低比特率语音编解码器,并由 MIMO-LM 初始化。
你可以用它做什么
- 在语音对话中感知并表达情感
- 以说唱、戏剧、机器人、有趣和低语等风格响应
- 用 750bps 语音编解码器模拟语义和声学信息
- 生成一秒钟语音需要 25 个自回归解码步骤
上手流程
- 访问 GitHub 页面获取技术报告和代码
- 阅读技术报告,了解模型的架构和功能
- 下载并安装运行模型所需的软件依赖项
- 根据文档指引配置模型参数和训练数据
需要留意什么
- 目前仍是基于轮次的对话系统,全双工实时版本正在开发
- 资料提到受限于计算和数据资源
- 语音理解的噪声鲁棒性与语音生成的音质稳定性仍有不足
- 技术报告、代码和模型权重计划未来开源
优点与缺点
✓ 我们认可的地方
- 多种语音风格随上下文与人类指令变化
- 生成一秒钟语音需要 25 个自回归解码步骤
! 需要留意的地方
- 目前仍是基于轮次的对话系统
- 语音理解的噪声鲁棒性与语音生成的音质稳定性仍有不足
常见问题
由谁开发?
资料注明由复旦大学计算机科学学院开发。
内容都开源了吗?
资料说明计划未来开源技术报告、代码和模型权重。
最后评测: 2026-11-15