LMCache 生态系统

基于 LMCache 构建或实现其接口的产品与项目。

LMCache 是面向 LLM 推理的开源 KV Cache 基础设施。团队可以直接使用它，在商业产品中运行它，或开发与其接口兼容的软件。本页同时列出这两类成果。如果你的产品或项目也属于这里，请参阅下方的“申请收录”。

基于 LMCache 构建

包含 LMCache 的商业产品与服务。如果你希望在生产环境中运行 LMCache 并获得企业级支持，可以从中选择。

由 LMCache 创建团队打造的 AI 推理数据管理层。它在 GPU 显存、主机内存和外部存储之间运行多层 KV Cache，并可与你现有的加速器、存储和推理引擎一起部署在 Kubernetes 上。

实现了 LMCache 接口的开源项目。兼容项目无需修改推理引擎或存储层，即可替换或扩展 LMCache。LMCache 是参考实现，也是此列表中的第一个项目。

面向 LLM 推理的开源 KV Cache 层，可在 GPU、CPU、磁盘和远程存储之间存储、共享和复用 KV Cache。

你的项目也可以出现在这里。 了解如何申请收录。

任何符合以下标准的产品或项目都可以申请收录。请自行对照标准进行检查，并在申请中告诉我们。我们会审核申请并添加你的卡片。随着 LMCache 接口规范逐步成熟，这些标准也会更加正式。

你的产品或服务符合条件，如果：

你的项目符合条件，如果：

采用 OSI 认可的开源许可证，并且
以与 LMCache 相同的行为实现一个或多个 LMCache 接口：
- 推理引擎连接器： vLLM 或 SGLang 等引擎存储和读取 KV Cache 的方式。
- 存储插件接口： 本地或远程存储后端接入缓存的方式。
- 缓存控制： 控制器查找、迁移和删除已缓存 KV 数据的方式。
针对其声明支持的每个接口，通过 LMCache 测试套件。一致性测试将随接口规范一同发布。

为什么这很重要：共享接口让用户无需重写推理栈，即可更换缓存层、存储后端或供应商。同时，它也为每个兼容项目提供了一条公平、公开的生态加入路径。