跳到正文

TinyLlama

在 3 万亿令牌上预训练的 1.1B Llama 模型

访问官网
分类 AI模型

TinyLlama 是什么

TinyLlama 被介绍为在 3 万亿令牌上预训练 1.1B Llama 模型的项目,采用与 Llama 2 相同的架构和分词器。

你可以用它做什么

  • 用发布的模型生成文本
  • 在基于 Llama 的项目中使用
  • 服务内存受限的应用

训练说明

  • 训练于 2023-09-01 开始
  • 使用 16 个 A100-40G GPU 历时 90 天
  • 功能列表列出 Transformers 与安全张量

优点与缺点

✓ 我们认可的地方

  • 16 个 A100-40G GPU 在 90 天内完成训练
  • 紧凑体积适合资源受限应用

! 需要留意的地方

  • 模型规模固定为 1.1B 参数
  • 训练于 2023-09-01 开始

常见问题

训练目标是什么?

资料说明在 3 万亿令牌上预训练一个 1.1B Llama 模型。

为何适合小型环境?

资料提到 1.1B 参数以及对计算和内存占用有限的应用需求。

最后评测: 2026-11-15

更多 大模型 API 平台 工具

查看全部 →

评测方法