跳到正文

VideoPrism

面向视频理解任务的通用视频编码模型

访问官网

VideoPrism 是什么

VideoPrism 被介绍为面向视频理解任务的通用视频编码模型,建立在规模很大且多样的预训练数据集之上。补充信息把它称为视频理解基础模型。

你可以用它做什么

  • 用编码器对视频内容做分类
  • 处理视频定位任务
  • 从视频集合中检索片段
  • 为视频生成字幕并回答相关问题

预训练方式

  • 第一阶段用对比学习匹配视频与文本
  • 第二阶段预测被遮蔽的视频块
  • 两个阶段利用不同的监督信号
  • 数据集包含 3600 万高质量视频-文本对

模型说明

  • 带有嘈杂文本的视频剪辑也进入预训练
  • 一个固定的模型可直接适配下游任务
  • 资料记载在 30 个视频理解基准上给出结果
  • 成果发布在 Google Research 的页面

优点与缺点

✓ 我们认可的地方

  • 固定的模型可直接适配下游任务
  • 两阶段分别利用不同的监督信号

! 需要留意的地方

  • 预训练依赖规模很大且多样的数据集
  • 预训练语料包含带有嘈杂文本的视频剪辑

常见问题

资料列出哪些任务?

资料列出分类、定位、检索、字幕生成和问答。

提到多少个基准?

资料记载在 30 个视频理解基准上给出结果。

最后评测: 2026-11-15

更多 AI 视频生成 工具

查看全部 →

评测方法