跳到正文

VisRAG

把文档当图像嵌入的视觉语言 RAG 流程

访问官网

VisRAG 是什么

VisRAG 被介绍为一个基于视觉语言模型(VLM)的检索增强生成(RAG)流程,与传统的基于文本的 RAG 不同,它直接把文档作为图像通过 VLM 嵌入,然后检索以增强 VLM 的生成能力。资料称这种方法最大限度保留原始文档中的数据信息,并消除解析过程中引入的信息损失。

你可以用它做什么

  • 用视觉语言模型把文档作为图像嵌入
  • 检索文档嵌入以增强生成能力
  • 提升文档生成的质量与相关性
  • 运行资料提供的训练与评估脚本

应用场景

  • 在学术研究中从大量文献检索并生成研究论文摘要
  • 在内容推荐系统中按历史行为和偏好生成个性化内容
  • 在智能问答系统中检索相关文档并生成准确答案

上手流程

  • 安装 Python 3.10.8 和 CUDA Toolkit 等环境
  • 克隆 VisRAG 代码库并进入项目目录
  • 安装依赖项,按需安装 timm_modified 库
  • 准备公开学术数据集或合成数据集作为训练数据

优点与缺点

✓ 我们认可的地方

  • 以图像形式嵌入页面,保留原始文档信息
  • 训练过程使用梯度检查点减少内存占用

! 需要留意的地方

  • 上手步骤需要安装 Python 3.10.8 与 CUDA Toolkit
  • 训练数据需由公开学术数据集或合成数据集准备

常见问题

与基于文本的 RAG 有何不同?

资料说明 VisRAG 直接把文档作为图像通过 VLM 嵌入,而不是解析成文本。

生成可以用哪些 VLM?

功能列表列出 MiniCPM-V 2.0 和 GPT-4o 等不同的视觉语言模型。

最后评测: 2026-11-15

更多 大模型 API 平台 工具

查看全部 →

评测方法