Tarsier 是什么
Tarsier 是由字节跳动研究团队开发的一系列大规模视频语言模型,旨在生成高质量的视频描述,并具备强大的视频理解能力。该模型通过两阶段训练策略提升视频描述的精度和细节。
你可以用它做什么
- 为视频事件写出详细描述
- 研究模型的架构与训练方法
- 为视频平台加入自动描述
主要功能
- 多任务预训练涵盖描述与问答
- 采用多粒度指令微调
- 提供 DREAM-1K 描述基准数据集
开始使用
- 创建 Python 3.9 的虚拟环境
- 克隆仓库并运行安装脚本
- 下载 Tarsier-7b 或 Tarsier-34b 权重
优点与缺点
✓ 我们认可的地方
- 提供 DREAM-1K 视频描述基准测试数据集
- 支持视频、图像和 GIF 文件输入
! 需要留意的地方
- 需创建 Python 3.9 虚拟环境并运行 setup.sh
- 需下载 Tarsier-7b 或 Tarsier-34b 模型权重
常见问题
采用哪些训练阶段?
卡片列出多任务预训练与多粒度指令微调。
接受哪些输入?
资料列出视频、图像和 GIF 文件。
最后评测: 2026-11-15