|
最简单的集成方式。LMCache 在推理引擎进程内运行。
将 LMCache 作为独立服务器运行,与推理引擎分离。推理引擎负责模型执行,LMCache 负责跨 worker 的 KV Cache 存储、复用与恢复,实现进程隔离,并且缓存在 worker 重启或故障后依然保留。
MP 模式是推荐的部署方式,也是 LMCache 未来开发的重点。
降低 KV Cache 的内存占用,支持更长上下文和更高并发。
阅读文档,几分钟内完成安装。
未找到结果。请尝试不同的搜索词。
开始输入以搜索…