跳到正文

Aria-Base-64K

面向长上下文研究的基础模型

访问官网
分类 AI模型

Aria-Base-64K 是什么

Aria-Base-64K 被介绍为多模态原生的 Mixture-of-Experts 基础模型,在长文本预训练阶段后形成,用于研究与继续训练。

你可以用它做什么

  • 在长视频问答数据上继续预训练或微调
  • 经短指令调优后转移到长文本问答场景

准备与限制

  • 安装 transformers、accelerate 和 sentencepiece 以加载
  • 用 AutoProcessor 处理文本与图像输入后生成

优点与缺点

✓ 我们认可的地方

  • 提供快速安装与推理的代码示例
  • 代码库支持高级推理与自定义数据集微调

! 需要留意的地方

  • 聊天模板数据比例低,可能不适合直接聊天
  • 加载前需安装 transformers、accelerate 与 sentencepiece

常见问题

训练用了多少数据?

资料说明 33B 个 token,其中 21B 多模态、12B 语言,69% 为长文本。

能直接聊天用吗?

资料说明仅约 3% 的数据进行了聊天模板格式训练。

最后评测: 2026-11-15

更多 大模型 API 平台 工具

查看全部 →

评测方法