跳到正文

LLaVA-Mini

用 1 个视觉令牌高效理解图像与视频

访问官网

LLaVA-Mini 是什么

LLaVA-Mini 被介绍为 ictnlp 团队开发的多模态模型,仅用 1 个视觉令牌高效理解图像与视频,并且开源免费。

你可以用它做什么

  • 分析视频内容,快速准确理解其中的事件和对象
  • 高效识别图像里的文本、物体等信息
  • 处理并分析时长达 3 小时的长视频
  • 提升图像与视频理解的整体效率

性能要点

  • 资料称计算工作量减少 77%
  • 响应延迟降至 40 毫秒
  • 1 个视觉令牌下性能与 LLaVA-v1.5 相当
  • 24GB 内存 GPU 上可处理超过 10000 帧视频

上手流程

  • 从 Hugging Face 下载 LLaVA-Mini 模型
  • 运行启动控制器脚本
  • 构建 LLaVA-Mini 的 API
  • 启动交互界面

优点与缺点

✓ 我们认可的地方

  • 1 个视觉令牌下性能与 LLaVA-v1.5 相当
  • 内存使用大幅降低,便于长视频处理

! 需要留意的地方

  • 本地使用前需从 Hugging Face 下载模型
  • 运行还需启动控制器脚本、构建 API 与交互界面

常见问题

用了几个视觉令牌?

资料说明一张图像只用 1 个视觉令牌来表示。

资料提到什么硬件?

资料说明 24GB 内存的 GPU 可处理超过 10000 帧视频。

最后评测: 2026-11-15

更多 AI 图像生成 工具

查看全部 →

评测方法