跳到正文

LongRoPE

把 LLM 上下文窗口扩展到 2048k 令牌

访问官网
分类 AI模型

longrope 是什么

LongRoPE 被介绍为微软推出的上下文扩展技术,把预训练模型的窗口扩大到 2048k 令牌。

你可以用它做什么

  • 把短上下文模型扩展到长上下文
  • 支撑长文本上的机器阅读理解

需要留意什么

  • 资料列出的功能是窗口扩展、低成本微调与短上下文保持
  • 工作从预训练的大型语言模型出发

优点与缺点

✓ 我们认可的地方

  • 资料说明原有短上下文性能得到保持
  • 资料称训练成本与时间有所降低

! 需要留意的地方

  • 方法从预训练语言模型出发
  • 资料列出的任务集中在阅读理解、摘要与长篇文章

常见问题

窗口有多大?

资料说明扩展到 2048k,即 200 万令牌。

什么被保留下来?

资料说明原有短上下文窗口的性能会保持。

最后评测: 2026-11-15

更多 大模型 API 平台 工具

查看全部 →

评测方法