H200加速GLM-5.3-Flash:高吞吐分离式服务实践

GLM-5.3-Flash融合稀疏注意力、循环线性注意力和MoE架构。在长上下文场景下实现高效服务,需要充足内存支持高并发、低输出token执行成本以及足够的prefill吞吐。本文介绍SGLang在NVIDIA H200上的优化方案,包括混合缓存复用、加速投机执行、针对性内核调优和FP8 prefill通信。实验结果显示,四卡H200上prefill输入吞吐提升2.06倍,decode输出吞吐提升4.32倍,端到端输出吞吐提升2.11-4.28倍。优化涵盖KV-only RadixCache、DFlash2投机解码、MoE GEMM调优及DSA Partial大KV tile等技术,有效平衡prefill与decode负载。

LMSYS SGLang H200优化
262

XM-Sparse:Netpreme X-Mem™ 突破稀疏注意力吞吐极限

XM-Sparse将Netpreme X-Mem™与SGLang HiSparse深度整合,通过高带宽访问外置KV缓存显著降低解码延迟,并借助海量外部容量支持更大批次与更高并发。测试显示,在16K上下文和20% miss率下,X-Mem™相比主机DRAM将每输出token时间缩短49.25%,峰值吞吐提升2.09–3.04倍。该方案为Agentic工作负载提供了高效的稀疏注意力内存分层方案,X-Mem™ Pilot VM现已开放,硅片即将上市。

LMSYS 稀疏注意力 KV缓存
224