LMCache — слой управления KV-кешем для LLM. Он превращает временный кеш в переиспользуемое знание, снижая TTFT и повышая пропускную способность для длинных контекстов и многократных диалогов. LMCache не зависит от вендора и работает с разными движками инференса и системами хранения.
