UniMuMo 是什么
UniMuMo 被介绍为一个多模态模型,通过基于令牌的表示把文本、音乐与动作三种模态桥接起来。
你可以用它做什么
- 把文本、音乐或动作作为输入条件
- 生成跨三种模态的输出
- 用节奏模式对齐未配对的数据
应用场景
- 根据文本描述生成音乐和舞蹈
- 为游戏中的 NPC 生成同步音乐与动作
- 为虚拟角色生成自然的动作与音乐反应
优点与缺点
✓ 我们认可的地方
- 三种模态共用一套架构
- 资料称在单向生成基准上取得有竞争力的结果
! 需要留意的地方
- 输出取决于所选的输入模态
- 对齐依赖数据中的节奏模式
常见问题
覆盖哪些模态?
资料把文本、音乐和动作列为输入条件,也列为可生成的输出。
如何降低算力需求?
资料说明通过微调已有的单模态预训练模型来设计。
最后评测: 2026-11-15
更多 大模型 API 平台 工具
查看全部 →-
302.AI 把数百个大模型收在一个 API 后面的聚合云平台 开发者工具 API 集成 多模型平台 模型部署 大模型 API 平台 -
360智脑开放平台 360 大模型 API 平台 API 集成 多模型平台 知识库问答 企业自动化 大模型 API 平台 -
4o Image API 图像生成 API 网关 免费 工具 免费增值 工具 开发者工具 API 集成 大模型 API 平台 -
AI-Flow 无代码的多模型工作流 工作流自动化 开发者工具 API 集成 知识库问答 大模型 API 平台 -
AI/ML API 一个网关接入众多模型 开发者工具 API 集成 多模态 多模型平台 大模型 API 平台 -
Amazon Bedrock 带安全扫描的 AWS 代码建议 免费 工具 代码助手 集成开发环境 应用搭建器 大模型 API 平台