MoE推理相关资讯

SGLang SSD专家包：消费级硬件运行DeepSeek-V4-Flash与Kimi-K3

SGLang团队推出SSD Expert Pack技术，将MoE模型的专家权重存储于NVMe SSD，仅按需加载路由选中的专家。通过Expert Pack布局、直接I/O、固定暂存和GPU缓存等优化，将海量参数模型部署到消费级硬件成为可能。