跳到正文

4M

用于多模态与多任务模型训练的框架

访问官网

4M 是什么

这是一个在统一 Transformer 编码器-解码器上训练多模态、多任务模型的框架,把模态转为离散标记序列以支持条件生成。

你可以用它做什么

  • 由 RGB 图像产出深度图与法线图
  • 从部分输入重构缺失的 RGB 内容
  • 按文本描述检索相应图像

如何开始

  • 从 GitHub 仓库获取代码与预训练模型
  • 按文档安装所需依赖项与环境
  • 加载模型并准备文本或图像输入

优点与缺点

✓ 我们认可的地方

  • 跨模态预测具备自我一致性
  • 不同条件的权重可调控生成输出

! 需要留意的地方

  • 环境搭建需按文档安装依赖项
  • 预训练模型需要自行下载并加载

常见问题

核心设计是什么?

资料说明把各模态转为离散标记序列,在统一 Transformer 编码器-解码器上训练。

代码在哪里?

资料指向提供代码与预训练模型的 GitHub 仓库。

最后评测: 2026-11-15

更多 大模型 API 平台 工具

查看全部 →

评测方法