测评 NVFP4 KV Cache 加速长上下文与 Agent 推理 SGLang、Qwen 与 NVIDIA 团队联合推出 NVFP4 KV Cache 方案，基于 Blackwell 架构的 NVFP4 格式，通过双级缩放策略将 KV 缓存压缩至约 FP8 的 56%。该方案在 SGLang 中实现初始预 LMSYS NVFP4 KV Cache SGLang 5小时前 49
