跳到正文

Mooncake

以 KVCache 为中心的 Kimi 服务平台

访问官网
分类 AI模型

mooncake 是什么

该平台是 Kimi 的服务平台,由 Moonshot AI 提供,采用以 KVCache 为中心的解耦架构。它把预填充和解码集群分离,以复用未充分利用的资源。

你可以用它做什么

  • 在延迟目标下平衡有效吞吐量
  • 在高度过载时启用早期拒绝
  • 服务长上下文请求

如何开始

  • 打开 GitHub 页面
  • 阅读技术报告
  • 配置环境并接入 API

优点与缺点

✓ 我们认可的地方

  • 资料称长上下文场景表现出色
  • 资料提到部分模拟场景吞吐量可提高 525%

! 需要留意的地方

  • 环境设置需依照项目文档
  • 集成通过提供的 API 或接口完成

常见问题

由谁提供?

资料说明由 Moonshot AI 提供,是 Kimi 的服务平台。

有技术资料吗?

资料提到开源技术报告可供社区学习与贡献。

最后评测: 2026-11-15

更多 大模型 API 平台 工具

查看全部 →

评测方法