跳到正文

Unified-IO 2

用单一模型处理图像、文本、音频与动作

访问官网

Unified-IO 2 是什么

Unified-IO 2 被介绍为统一的多模态生成模型,在单个编码器-解码器 Transformer 内处理图像、文本、音频与动作。

你可以用它做什么

  • 为图像生成描述
  • 执行自由形式的指令
  • 编辑图像或检测对象

模型说明

  • 输入与输出共享同一语义空间
  • 预训练使用大规模多模态语料
  • 微调覆盖 120 个现有数据集

优点与缺点

✓ 我们认可的地方

  • 一个模型覆盖四种模态
  • 从头在大规模多模态语料上预训练

! 需要留意的地方

  • 微调依赖 120 个现有数据集
  • 资料描述的结构是单一编码器-解码器 Transformer

常见问题

覆盖哪些模态?

资料列出图像、文本、音频和动作。

微调用了多少数据集?

资料说明使用了 120 个现有数据集。

最后评测: 2026-11-15

更多 AI 编程工具 工具

查看全部 →

评测方法