跳到正文

UniMuMo

打通文本、音乐与动作的统一模型

访问官网

UniMuMo 是什么

UniMuMo 被介绍为一个多模态模型,通过基于令牌的表示把文本、音乐与动作三种模态桥接起来。

你可以用它做什么

  • 把文本、音乐或动作作为输入条件
  • 生成跨三种模态的输出
  • 用节奏模式对齐未配对的数据

应用场景

  • 根据文本描述生成音乐和舞蹈
  • 为游戏中的 NPC 生成同步音乐与动作
  • 为虚拟角色生成自然的动作与音乐反应

优点与缺点

✓ 我们认可的地方

  • 三种模态共用一套架构
  • 资料称在单向生成基准上取得有竞争力的结果

! 需要留意的地方

  • 输出取决于所选的输入模态
  • 对齐依赖数据中的节奏模式

常见问题

覆盖哪些模态?

资料把文本、音乐和动作列为输入条件,也列为可生成的输出。

如何降低算力需求?

资料说明通过微调已有的单模态预训练模型来设计。

最后评测: 2026-11-15

更多 大模型 API 平台 工具

查看全部 →

评测方法