SGLang SSD专家包：消费级硬件运行DeepSeek-V4-Flash与Kimi-K3
SGLang团队推出SSD Expert Pack技术，将MoE模型的专家权重存储于NVMe SSD，仅按需加载路由选中的专家。通过Expert Pack布局、直接I/O、固定暂存和GPU缓存等优化，将海量参数模型部署到消费级硬件成为可能。
SGLang团队推出SSD Expert Pack技术，将MoE模型的专家权重存储于NVMe SSD，仅按需加载路由选中的专家。通过Expert Pack布局、直接I/O、固定暂存和GPU缓存等优化，将海量参数模型部署到消费级硬件成为可能。
受Kimi K2团队启发，SGLang RL团队成功实现INT4 Quantization-Aware Training (QAT)全流程。通过训练阶段的fake quantization和推理阶段的真实W4A16量化，实现了与BF16全精