跳到正文

Spirit LM

自由混合文本与语音的语言模型

访问官网
分类 AI模型

Spirit LM 是什么

Spirit LM 被介绍为一个基础多模态语言模型,把文本和语音混合到单一令牌流中,采用词级交错方法训练。

你可以用它做什么

  • 把文本与语音放进同一序列
  • 基础版使用音素单元
  • 表达版加入音高与风格单元

上手流程

  • 阅读 GitHub 页面或论文
  • 选择版本并下载预训练模型
  • 准备语音与文本平行语料库

优点与缺点

✓ 我们认可的地方

  • 资料称兼具语义能力与表达能力
  • 少量样本即可学习跨模态新任务

! 需要留意的地方

  • 两个版本使用不同的单元
  • 所述基础是 7B 文本模型

常见问题

两个版本是什么?

资料列出使用音素单元的基础版,以及增加音高与风格单元的表达版。

列出哪些任务?

资料列出 ASR、TTS 与语音分类等跨模态任务。

最后评测: 2026-11-15

更多 大模型 API 平台 工具

查看全部 →

评测方法