跳到正文

LLMs-from-scratch

从零动手构建自己的语言模型

访问官网

LLMs-from-scratch 是什么

LLMs-from-scratch 被介绍为一本逐步讲解大型语言模型原理的书,用清晰的文本、图表和示例说明每个阶段。

你可以用它做什么

  • 处理供模型使用的文本数据
  • 亲手编写注意力机制
  • 从零开始实现 GPT 模型

应用场景

  • 用作大学深度学习课程教材
  • 用作研究人员的参考指南
  • 供人工智能工程师自学使用

训练步骤

  • 在无标签数据上做预训练
  • 针对文本分类做微调
  • 沿用大规模基础模型的方法

优点与缺点

✓ 我们认可的地方

  • 每个阶段都配有图表与示例说明
  • 端到端构建小型但功能齐全的模型

! 需要留意的地方

  • 构建的模型偏小且用于教学
  • 方法沿用大规模基础模型的思路

常见问题

这本书构建什么?

资料说明用于教育目的的小型但功能齐全的语言模型。

资料列出哪些用途?

资料列出大学课程、研究人员参考与工程师自学。

最后评测: 2026-11-15

更多 大模型 API 平台 工具

查看全部 →

评测方法