跳到正文

DeepSeek-V3

671B 参数的混合专家语言模型

访问官网

DeepSeek-V3 是什么

DeepSeek-V3 被介绍为 Mixture-of-Experts (MoE) 语言模型,总参数量 671B、每次激活 37B 参数,采用 Multi-head Latent Attention (MLA) 和 DeepSeekMoE 架构。

模型特点

  • 在 14.8 万亿高质量令牌上完成预训练
  • 采用无辅助损失的负载均衡与多令牌预测目标
  • 使用 FP8 混合精度训练框架

应用场景

  • 在金融领域分析财经新闻和报告,提取关键信息
  • 在医疗行业理解分析医学文献,辅助药物研发和病例研究
  • 在教育领域帮助学生和研究人员获取学术资料

上手流程

  • 克隆 GitHub 仓库并安装 requirements.txt 中的依赖
  • 从 HuggingFace 下载模型权重放入指定文件夹
  • 需要时用提供的脚本把 FP8 权重转换为 BF16

优点与缺点

✓ 我们认可的地方

  • 采用 FP8 混合精度训练框架
  • HuggingFace 上提供 685B 模型下载

! 需要留意的地方

  • 本地运行需要克隆仓库并安装依赖
  • FP8 权重可能需用脚本转换为 BF16

常见问题

模型规模多大?

资料说明总参数量 671B,每次激活 37B。

权重在哪里下载?

HuggingFace 提供 685B 下载,含 671B 主模型权重与 14B 多令牌预测模块权重。

最后评测: 2026-11-15

更多 AI 编程工具 工具

查看全部 →

评测方法