跳到正文

Tarsier

生成高质量视频描述的大型视频语言模型

访问官网

Tarsier 是什么

Tarsier 是由字节跳动研究团队开发的一系列大规模视频语言模型,旨在生成高质量的视频描述,并具备强大的视频理解能力。该模型通过两阶段训练策略提升视频描述的精度和细节。

你可以用它做什么

  • 为视频事件写出详细描述
  • 研究模型的架构与训练方法
  • 为视频平台加入自动描述

主要功能

  • 多任务预训练涵盖描述与问答
  • 采用多粒度指令微调
  • 提供 DREAM-1K 描述基准数据集

开始使用

  • 创建 Python 3.9 的虚拟环境
  • 克隆仓库并运行安装脚本
  • 下载 Tarsier-7b 或 Tarsier-34b 权重

优点与缺点

✓ 我们认可的地方

  • 提供 DREAM-1K 视频描述基准测试数据集
  • 支持视频、图像和 GIF 文件输入

! 需要留意的地方

  • 需创建 Python 3.9 虚拟环境并运行 setup.sh
  • 需下载 Tarsier-7b 或 Tarsier-34b 模型权重

常见问题

采用哪些训练阶段?

卡片列出多任务预训练与多粒度指令微调。

接受哪些输入?

资料列出视频、图像和 GIF 文件。

最后评测: 2026-11-15

更多 AI 视频生成 工具

查看全部 →

评测方法