LMCache 생태계

LMCache를 기반으로 구축되었거나 LMCache 인터페이스를 구현한 제품과 프로젝트.

LMCache는 LLM 추론을 위한 오픈 소스 KV 캐시 인프라입니다. 여러 팀이 LMCache를 직접 사용하거나, 상용 제품 안에서 실행하거나, LMCache 인터페이스와 호환되는 소프트웨어를 개발합니다. 이 페이지에서는 이 두 가지를 모두 소개합니다. 여러분의 제품이나 프로젝트를 이곳에 등재하려면 아래 “등재 신청”을 참고하세요.

LMCache 기반

LMCache를 포함한 상용 제품 및 서비스입니다. 엔터프라이즈 지원을 받으며 LMCache를 프로덕션 환경에서 운영하려면 이 중 하나를 선택하세요.

Tensormesh Platform

LMCache를 만든 팀이 개발한 AI 추론용 데이터 관리 계층입니다. GPU 메모리, 호스트 메모리, 외부 스토리지에 걸친 다계층 KV 캐시를 운영하며, 기존 가속기, 스토리지, 추론 엔진과 함께 Kubernetes에 배포됩니다.

LMCache 호환 프로젝트

LMCache 인터페이스를 구현한 오픈 소스 프로젝트입니다. 호환 프로젝트는 추론 엔진이나 스토리지 계층을 변경하지 않고도 LMCache를 대체하거나 확장할 수 있습니다. LMCache는 레퍼런스 구현이며, 이 목록의 첫 번째 프로젝트입니다.

LMCache

LLM 추론을 위한 오픈 소스 KV 캐시 계층입니다. GPU, CPU, 디스크, 원격 스토리지 전반에서 KV 캐시를 저장하고, 공유하고, 재사용합니다.

여기에 여러분의 프로젝트를 소개하세요. 등재 방법 알아보기.

등재 신청

아래 기준을 충족하는 제품이나 프로젝트라면 누구나 등재할 수 있습니다. 기준에 맞는지 직접 확인한 후 신청서를 제출해 주세요. 신청서를 검토한 후 카드를 추가해 드립니다. 기준은 LMCache 인터페이스 사양이 성숙해짐에 따라 더 공식화될 예정입니다.

LMCache 기반

다음에 해당하면 제품 또는 서비스를 등재할 수 있습니다.

LMCache를 구성 요소로 포함하여 제공하거나, 관리형 서비스의 일부로 LMCache를 실행합니다.
공개 문서에 LMCache가 구성 요소로 명시되어 있습니다.
LMCache 이름과 로고를 올바르게 사용하고, lmcache.ai로 연결되는 링크를 게시합니다.

LMCache 호환

다음에 해당하면 프로젝트를 등재할 수 있습니다.

OSI 승인 라이선스를 따르는 오픈 소스이고, 동시에
LMCache와 동일하게 동작하도록 하나 이상의 LMCache 인터페이스를 구현합니다.
- 추론 엔진 커넥터: vLLM이나 SGLang 같은 엔진이 KV 캐시를 저장하고 가져오는 방식.
- 스토리지 플러그인 인터페이스: 로컬 또는 원격 스토리지 백엔드가 캐시에 연결되는 방식.
- 캐시 제어: 컨트롤러가 캐시된 KV 데이터를 찾고, 이동하고, 제거하는 방식.
지원한다고 밝힌 각 인터페이스에 대해 LMCache 테스트 스위트를 통과합니다. 적합성 테스트는 인터페이스 사양과 함께 공개될 예정입니다.

왜 중요한가: 공유 인터페이스가 있으면 추론 스택을 다시 작성하지 않고도 캐시 계층, 스토리지 백엔드, 공급업체를 바꿀 수 있습니다. 또한 모든 호환 프로젝트가 생태계에 합류할 수 있는 공정하고 공개된 경로가 생깁니다.