DeepSeek-V3 是什么
DeepSeek-V3 被介绍为 Mixture-of-Experts (MoE) 语言模型,总参数量 671B、每次激活 37B 参数,采用 Multi-head Latent Attention (MLA) 和 DeepSeekMoE 架构。
模型特点
- 在 14.8 万亿高质量令牌上完成预训练
- 采用无辅助损失的负载均衡与多令牌预测目标
- 使用 FP8 混合精度训练框架
应用场景
- 在金融领域分析财经新闻和报告,提取关键信息
- 在医疗行业理解分析医学文献,辅助药物研发和病例研究
- 在教育领域帮助学生和研究人员获取学术资料
上手流程
- 克隆 GitHub 仓库并安装 requirements.txt 中的依赖
- 从 HuggingFace 下载模型权重放入指定文件夹
- 需要时用提供的脚本把 FP8 权重转换为 BF16
优点与缺点
✓ 我们认可的地方
- 采用 FP8 混合精度训练框架
- HuggingFace 上提供 685B 模型下载
! 需要留意的地方
- 本地运行需要克隆仓库并安装依赖
- FP8 权重可能需用脚本转换为 BF16
常见问题
模型规模多大?
资料说明总参数量 671B,每次激活 37B。
权重在哪里下载?
HuggingFace 提供 685B 下载,含 671B 主模型权重与 14B 多令牌预测模块权重。
最后评测: 2026-11-15