KV 캐시 인프라로 AI 메모리 텐서의 기반을 구축합니다
LMCache는 LLM 추론을 위한 KV 캐시 인프라를 개척하여, KV 캐시를 클러스터 전체에서 저장하고, 압축하고, 검색하고, 재사용할 수 있는 AI 네이티브 메모리로 바꿉니다
AI는 전기 LMCache로 꿈을 꿀 수 있을까?
꿈
- 통합
호환성
주요 추론 엔진, 하드웨어 플랫폼, 플러그인 방식의 외부 스토리지 백엔드를 지원합니다.
- 추론 엔진
- 스토리지 공급업체
- 주요 오케스트레이터
- GPU 공급업체
- 추론 서비스 제공업체
- 연구 아이디어
- 통합
호환성
주요 추론 엔진, 하드웨어 플랫폼, 플러그인 방식의 외부 스토리지 백엔드를 지원합니다.
- 주요 오케스트레이터
- 추론 엔진
- 스토리지 공급업체
- 추론 서비스 제공업체
- GPU 공급업체
- 연구 아이디어
- 아키텍처
지원되는 배포 패턴
아키텍처를 변경할 필요가 없습니다. 환경에 맞는 배포 모드를 선택하세요.
인프로세스
가장 간단한 통합 방식입니다.
LMCache가 추론 엔진 프로세스 안에서 실행됩니다.
서빙
엔진
1
KV
라이브러리
서빙
엔진
2
KV
라이브러리
서빙
엔진
N
KV
라이브러리
LMCache 멀티프로세스
LMCache를 추론 엔진과 분리된 독립 서버로 실행합니다. 엔진은 모델 실행을 담당하고, LMCache는 워커 전반의 KV 캐시 저장, 재사용, 복구를 관리합니다. 프로세스가 격리되며, 워커가 재시작되거나 장애가 발생해도 캐시가 유지됩니다.
서빙
엔진
1
서빙
엔진
2
서빙
엔진
N
LMCache 서버
MP 모드는 권장 배포 방식이며, 향후 LMCache 개발의 중심입니다.
- 작동 방식
LMCache 주요 기능
LMCache는 LLM 추론을 위한 모듈식 KV 캐시 계층으로, 긴 프롬프트, 대화 기록, 검색된 콘텐츠가 여러 요청에 걸쳐 재사용되는 워크로드를 위해 설계되었습니다. GPU, CPU 메모리, 외부 백엔드 전반에서 KV 캐시를 저장하고, 재사용하고, 압축하고, 검색하고, 이동하고, 관측할 수 있도록 돕습니다.
- 생태계
폭넓은 생태계 협업
LMCache는 전 세계 인프라 팀, 클라우드 제공업체, 오픈 소스 프로젝트에서 프로덕션 환경에 사용되고 있습니다.
Tab #1
Tab #2
Tab #3
Tab #4
Tab #5
Tab #6
Tab #7
Nvidia
Dynamo는 vLLM 같은 인기 추론 엔진 및 LMCache 같은 오픈 소스 도구와 매끄럽게 통합되어, 효율적인 캐시 재사용과 재계산 감소를 가능하게 하고 긴 컨텍스트와 높은 동시성 워크로드를 더 잘 지원합니다.
Nvidia
Dynamo는 vLLM 같은 인기 추론 엔진 및 LMCache 같은 오픈 소스 도구와 매끄럽게 통합되어, 효율적인 캐시 재사용과 재계산 감소를 가능하게 하고 긴 컨텍스트와 높은 동시성 워크로드를 더 잘 지원합니다.
Google Cloud
Google Kubernetes Engine 사용자의 경우, LMCache의 계층형 스토리지 솔루션은 노드 로컬 스토리지를 활용해 추론 성능을 높입니다. 특히 큰 KV 캐시를 생성하는 긴 시스템 프롬프트에서 효과가 큽니다.
AMD
vLLM과 통합하면 LMCache는 AMD Instinct MI300X GPU에서 Qwen3, Llama3, Qwen-VL을 비롯한 다양한 커뮤니티 모델의 성능을 3~10배 향상시킵니다.
CoreWeave
LMCache와 CoreWeave AI Object Storage는 긴밀하게 통합된 시스템을 이룹니다. LMCache는 캐시 직렬화와 조정을 담당하고, CoreWeave AI Object Storage는 외부 캐싱을 매끄럽게 만드는 분산 성능 기반을 제공합니다.
Redis
LMCache는 반복되는 토큰 청크의 키-값(KV) 쌍을 캐싱하고 재사용하여 중복 계산을 줄입니다. Redis는 이러한 청크를 대규모로 저장하고 조회하는 실시간 인프라를 제공합니다. 둘을 함께 사용하면 추론이 더 빨라집니다.
- 연구
최고 수준의 연구 에 기반
LMCache는 시카고 대학교의 시스템 연구에서 시작되어 오픈 소스 프로젝트로 계속 발전하고 있습니다. 가장 효율적인 LLM 서빙 인프라를 함께 만들어 가요.
- 둘러보기
리소스
실용적인 가이드, 커뮤니티 도구 등 LMCache를 배포하고, 기여하고, 최신 소식을 따라가는 데 필요한 모든 것.
