跳到正文

LongLLaMA

面向超长上下文的 LLaMA 模型

访问官网
分类 AI模型

LongLLaMA 是什么

LongLLaMA 被介绍为一个基于 OpenLLaMA、经 FoT 微调的长文本语言模型。

你可以用它做什么

  • 处理长篇文档
  • 使用 256k 标记或更长的文本
  • 在现有代码中替换 LLaMA 权重

模型说明

  • 提供 3B 基础模型
  • 推断代码托管在 Hugging Face
  • 评估结果与原版 OpenLLaMA 对比

优点与缺点

✓ 我们认可的地方

  • Hugging Face 上提供长上下文推断代码
  • 提供评估结果与原始 OpenLLaMA 比较

! 需要留意的地方

  • 3B 基础模型未经指令调整
  • 短上下文权重替代适用最多 2048 标记

常见问题

支持多长上下文?

资料说明 256k 标记甚至更多。

用了什么方法?

资料说明 Focused Transformer,即 FoT。

最后评测: 2026-11-15

更多 大模型 API 平台 工具

查看全部 →

评测方法