VideoPrism 是什么
VideoPrism 被介绍为面向视频理解任务的通用视频编码模型,建立在规模很大且多样的预训练数据集之上。补充信息把它称为视频理解基础模型。
你可以用它做什么
- 用编码器对视频内容做分类
- 处理视频定位任务
- 从视频集合中检索片段
- 为视频生成字幕并回答相关问题
预训练方式
- 第一阶段用对比学习匹配视频与文本
- 第二阶段预测被遮蔽的视频块
- 两个阶段利用不同的监督信号
- 数据集包含 3600 万高质量视频-文本对
模型说明
- 带有嘈杂文本的视频剪辑也进入预训练
- 一个固定的模型可直接适配下游任务
- 资料记载在 30 个视频理解基准上给出结果
- 成果发布在 Google Research 的页面
优点与缺点
✓ 我们认可的地方
- 固定的模型可直接适配下游任务
- 两阶段分别利用不同的监督信号
! 需要留意的地方
- 预训练依赖规模很大且多样的数据集
- 预训练语料包含带有嘈杂文本的视频剪辑
常见问题
资料列出哪些任务?
资料列出分类、定位、检索、字幕生成和问答。
提到多少个基准?
资料记载在 30 个视频理解基准上给出结果。
最后评测: 2026-11-15