SGLang 弹性 EP 扩容:用 NIXL 无重启扩展 MoE 推理
SGLang 引入 Elastic Expert Parallelism Scaling,让 MoE 推理服务可在运行中细粒度增加 GPU,无需完整副本或重启。借助 Mooncake PG 与 NIXL,系统在 8×H100 测试中比重启更
SGLang 引入 Elastic Expert Parallelism Scaling,让 MoE 推理服务可在运行中细粒度增加 GPU,无需完整副本或重启。借助 Mooncake PG 与 NIXL,系统在 8×H100 测试中比重启更
MLCommons 正式发布 MLPerf Training v6.0 基准测试结果。本次更新新增 DeepSeek V3 与 GPT-OSS 20B 两项基准,突出 Mixture-of-Experts(MoE)稀疏计算架构的行业趋势。测
本文介绍 SGLang 中针对 DeepEP MoE 推理的两种调度时负载均衡方案:Waterfill 和 LPLB。Waterfill 通过将共享专家动态分配给负载较低的 rank,在 DeepSeek-V3/R1 类工作负载下吞吐提升
MLCommons 为 MLPerf Training v6.0 引入 GPT-OSS 20B 预训练基准,用更小硬件门槛评测 MoE 稀疏训练能力。该基准通过固定验证集、优化器稳定化和统一初始化,将训练波动显著压低,目标是让成绩更真实反映
为高效服务大规模 Mixture-of-Experts (MoE) 模型,宽 Expert Parallelism (EP) 策略已成为必需,但其可靠性瓶颈突出:单一硬件故障可能导致整个实例崩溃,重启需数分钟。为此,SGLang 集成 El