다양한 모델 아키텍처, 서빙 엔진, 스토리지 백엔드, 환경에 LMCache를 배포하기 위한 실용적인 레시피를 살펴보세요. 로드맵 업데이트와 오픈 소스 커뮤니티를 위한 기여 가이드라인도 함께 확인할 수 있습니다.
레시피는 특정 환경에서 LMCache를 실행하는 방법을 보여 주는 실용적인 배포 가이드입니다. 지원되는 서빙 엔진, 호환되는 LMCache 기능, 알려진 제약 사항과 설정 참고 사항을 포함합니다.
토큰마다 모델 파라미터의 일부만 활성화하여 확장 효율을 높이도록 설계된 전문가 혼합(MoE) 아키텍처입니다.
긴 컨텍스트, 에이전트, 고처리량 추론 워크로드를 위해 구축된 대규모 모델 아키텍처입니다.
효율적인 지시 수행과 멀티모달 중심 워크로드를 위한 Google의 오픈 모델 아키텍처입니다.
일반 추론, 코딩, 에이전트 개발 워크플로를 위한 Mistral 계열 모델입니다.
지시 수행과 범용 추론을 위한 오픈 웨이트 GPT 방식 모델입니다.
버그 수정, 문서 개선, 모델 지원 추가, 테스트 작성, 다른 사용자 돕기 등 LMCache에 기여하는 방법은 다양합니다.
LMCache는 AI 생태계의 주요 추론 엔진, 스토리지 백엔드, 오케스트레이션 계층과 통합됩니다.
다양한 모델 아키텍처와 컨텍스트 길이에 따른 KV 캐시 메모리 요구량을 추정해 필요한 하드웨어 자원을 가늠해 보세요.
컨텍스트 길이와 모델 크기에 따라 메모리 요구량이 어떻게 늘어나는지 시각화하여, 잠재적인 VRAM 병목과 캐시 오프로딩 기회를 파악하세요.
자세한 버전 매트릭스, 설정 옵션, 알려진 제약 사항은 LMCache 문서를 참고하세요.
LMCache 팀과 기여자들이 전하는 최신 벤치마크, 릴리스 노트, 기술 심층 분석.
