H200加速GLM-5.3-Flash：高吞吐分离式服务实践
GLM-5.3-Flash融合稀疏注意力、循环线性注意力和MoE架构。在长上下文场景下实现高效服务，需要充足内存支持高并发、低输出token执行成本以及足够的prefill吞吐。本文介绍SGLang在NVIDIA H200上的优化方案，包括
GLM-5.3-Flash融合稀疏注意力、循环线性注意力和MoE架构。在长上下文场景下实现高效服务，需要充足内存支持高并发、低输出token执行成本以及足够的prefill吞吐。本文介绍SGLang在NVIDIA H200上的优化方案，包括
SGLang团队推出SSD Expert Pack技术，将MoE模型的专家权重存储于NVMe SSD，仅按需加载路由选中的专家。通过Expert Pack布局、直接I/O、固定暂存和GPU缓存等优化，将海量参数模型部署到消费级硬件成为可能。