跳到正文

MiniMax-Text-01

具备 400 万 token 上下文的大型语言模型

访问官网

MiniMax-Text-01 是什么

MiniMax-Text-01 被介绍为 MiniMaxAI 开发的大型语言模型,采用结合闪电注意力、softmax 注意力与专家混合技术的混合架构。

你可以用它做什么

  • 生成长篇文本内容
  • 处理长达 400 万 token 的上下文
  • 进行语言理解与文本生成研究

模型说明

  • 总参数列为 4560 亿
  • 训练上下文扩展到 100 万 token
  • 列出 LASP+、变长环形注意力、ETP 等方法
  • 步骤推荐使用 int8 量化设置

优点与缺点

✓ 我们认可的地方

  • 列出 LASP+、ETP 等并行策略
  • 步骤推荐使用 int8 量化配置

! 需要留意的地方

  • 加载模型需按 GPU 数量设置设备映射
  • 基准表现描述针对学术测试

常见问题

模型规模多大?

资料说明 4560 亿总参数,每个 token 激活 459 亿参数。

怎么加载?

步骤写明加载配置与分词器、设置量化、设备映射,并预处理输入文本。

最后评测: 2026-11-15

更多 AI 编程工具 工具

查看全部 →

评测方法