测评 HiCache如何支撑多并行与分布式推理 Agentic应用会反复向模型提交超长且高度相似的历史上下文。HiCache在Radix cache基础上把KV复用扩展到主机内存与外部存储，并进一步适配CP、PP、Speculative decoding和P/D分离等生产级推理架构。 LMSYS HiCache SGLang 分布式推理 4小时前 70
测评 统一基数缓存：混合模型前缀缓存的单一树结构 本文介绍SGLang的Unified Radix Cache方案，通过单一radix tree拓扑解决混合模型（FULL、SWA、MAMBA等组件）的KV缓存复用难题。组件机制分离共享前缀身份与特定复用规则，支持HiCache跨GPU L1 LMSYS SGLang 前缀缓存 混合模型 2026年8月19日 671
