跳到正文

AI21-Jamba-Large-1.6

面向长文本的混合 SSM-Transformer 模型

访问官网

AI21-Jamba-Large-1.6 是什么

该模型被介绍为 AI21 Labs 开发的混合 SSM-Transformer 基础模型,面向长文本处理与高效推理,并具备跨语言的指令跟随能力。

上手流程

  • 安装 mamba-ssm、causal-conv1d 与 vllm 等依赖
  • 用 vllm 加载并设置 ExpertsInt8 等量化策略
  • 用 AutoTokenizer 对输入文本编码

优点与缺点

✓ 我们认可的地方

  • 列出指令跟随与工具调用能力
  • 许可条款下允许研究和商业使用

! 需要留意的地方

  • 加载需用 vllm 并设置 ExpertsInt8 等量化策略
  • 高效推理依赖资料描述的运行库配置

常见问题

上下文有多长?

资料说明上下文长度达 256K。

采用什么许可?

资料点名 Jamba Open Model License,允许在许可条款下进行研究和商业使用。

最后评测: 2026-11-15

更多 大模型 API 平台 工具

查看全部 →

评测方法