跳到正文

VITA-1.5

面向近实时视觉与语音交互的开源多模态模型

访问官网

VITA-1.5 是什么

VITA-1.5 被介绍为一款开源的多模态大语言模型,用于接近实时的视觉和语音交互,资料称其显著降低交互延迟并提升多模态性能。

你可以用它做什么

  • 通过语音指令查询图像和信息
  • 把语音转换成文本
  • 结合语音输入为图像做标注
  • 理解图像与视频内容

模型说明

  • 资料称语音交互延迟从 4 秒降至 1.5 秒
  • 资料称多模态性能平均提升至 70.8%
  • 资料称 ASR WER 降低至 7.5%
  • 采用端到端的语音合成模块

上手流程

  • 克隆 GitHub 仓库
  • 创建并激活 Python 虚拟环境
  • 安装所需的依赖包
  • 准备训练数据并配置数据路径

优点与缺点

✓ 我们认可的地方

  • 资料列出支持图像和视频理解
  • 提供多种训练和推理工具

! 需要留意的地方

  • 资料列出的语言为英语和中文
  • 上手需要克隆仓库并准备 Python 环境

常见问题

支持哪些语言?

资料说明支持英语和中文。

延迟数据是多少?

资料说明语音交互延迟从 4 秒降至 1.5 秒。

最后评测: 2026-11-15

更多 大模型 API 平台 工具

查看全部 →

评测方法