HiCache如何支撑多并行与分布式推理
Agentic应用会反复向模型提交超长且高度相似的历史上下文。HiCache在Radix cache基础上把KV复用扩展到主机内存与外部存储，并进一步适配CP、PP、Speculative decoding和P/D分离等生产级推理架构。
KV Cache 相关资讯
NVFP4 KV Cache 加速长上下文与 Agent 推理
SGLang、Qwen 与 NVIDIA 团队联合推出 NVFP4 KV Cache 方案，基于 Blackwell 架构的 NVFP4 格式，通过双级缩放策略将 KV 缓存压缩至约 FP8 的 56%。该方案在 SGLang 中实现初始预
Netpreme X-Mem 加速 SGLang HiCache：TTFT 最高提升 6.7 倍
随着长上下文、Agent 和推荐类 LLM 工作负载增长，Prefix caching 的瓶颈正从命中率转向 KV Cache 搬运带宽。Netpreme X-Mem™ 为 SGLang HiCache 增加高带宽专用 KV 内存层，在前缀