H200加速GLM-5.3-Flash:高吞吐分离式服务实践
GLM-5.3-Flash融合稀疏注意力、循环线性注意力和MoE架构。在长上下文场景下实现高效服务,需要充足内存支持高并发、低输出token执行成本以及足够的prefill吞吐。本文介绍SGLang在NVIDIA H200上的优化方案,包括
GLM-5.3-Flash融合稀疏注意力、循环线性注意力和MoE架构。在长上下文场景下实现高效服务,需要充足内存支持高并发、低输出token执行成本以及足够的prefill吞吐。本文介绍SGLang在NVIDIA H200上的优化方案,包括
本文详解SGLang为何转向megakernel架构,并介绍为Muse Spark Open从零用CUDA C++与PTX构建的megakernel实现。该方案将Blackwell GPU上的单请求解码速度从517 tok/s提升至1109