Unified-IO 2 是什么
Unified-IO 2 被介绍为统一的多模态生成模型,在单个编码器-解码器 Transformer 内处理图像、文本、音频与动作。
你可以用它做什么
- 为图像生成描述
- 执行自由形式的指令
- 编辑图像或检测对象
模型说明
- 输入与输出共享同一语义空间
- 预训练使用大规模多模态语料
- 微调覆盖 120 个现有数据集
优点与缺点
✓ 我们认可的地方
- 一个模型覆盖四种模态
- 从头在大规模多模态语料上预训练
! 需要留意的地方
- 微调依赖 120 个现有数据集
- 资料描述的结构是单一编码器-解码器 Transformer
常见问题
覆盖哪些模态?
资料列出图像、文本、音频和动作。
微调用了多少数据集?
资料说明使用了 120 个现有数据集。
最后评测: 2026-11-15