SGLang 与 Miles 为 Kimi K3 提供 Day-0 支持
SGLang 与 Miles 携手 Moonshot AI 和 NVIDIA，为 2.8 万亿参数的 Kimi K3 模型提供 Day-0 支持。该混合架构融合 KDA 线性注意力与 MLA，带来全新内存管理、统一内存池及 DSpark 推
推测解码 相关资讯
下一代推测解码：DFlash与Spec V2
Modal、Z Lab与SGLang团队联合发布DFlash推测解码模型，搭配SGLang Spec V2引擎，在Qwen 3.5 397B-A17B模型上实现SOTA推理延迟。HumanEval数据集并发1场景下，吞吐量较基线提升4.3倍
谷歌Gemma 4开源模型采用推测解码，速度提升3倍
谷歌最新发布的Gemma 4开源AI模型引入了“推测解码”（Speculative Decoding）技术，通过辅助模型预先生成多个令牌再由主模型并行验证，在保持输出质量的同时将推理速度提升最高3倍。这一创新将两个模型合并为一个稀疏专家混合