SGLang 为 NVIDIA Nemotron 3.5 Super VL 提供零日支持
NVIDIA Nemotron 3.5 Super VL 是一款开放多模态模型，专为文本、图像、文档和视频输入设计，支持代理推理与工具使用。该模型采用1200亿参数混合专家架构，每次激活120亿参数，结合C-RADIOv4视觉编码、Mamb
LMSYS 相关资讯
SGLang 为 Muse Spark Open 提供首日支持
Muse Spark Open 是一款 816B 参数的开放权重多模态 MoE 模型，激活参数约 42B，支持文本、图像、视频和音频输入及 1M token 上下文。SGLang 与 Miles 团队实现 Day-0 支持，通过序列并行、N
SGLang 赋能 Beam 模型生产级部署
Reflection 推出的 Beam 是一款 501B 参数的 MoE 模型，每 token 激活 23B 参数，专为软件工程和长时程智能体任务设计。SGLang 原生支持 Beam 并驱动其生产 API，提供 BF16、NVFP4、动态
SGLang 低延迟模式：内核与运行时优化
SGLang 推出低延迟模式，通过插件框架集成 NVIDIA 和 AMD 专用内核，实现小批量场景下的显著延迟降低。在 AgentX 回放测试中，四张 NVIDIA GB300 GPU 上单并发会话 P90 每用户生成速度从 671.2 提
SGLang-TorchTPU：TPU上的PyTorch原生生产级服务
SGLang-TorchTPU今日正式开源，由RadixArk团队与Google、Meta合作推出。该插件将SGLang完整功能集带到Google Cloud TPU，支持Muse Spark Open、GLM-5.3、DeepSeek V
SGLang与Miles在NVIDIA Vera Rubin上的优化实践
本文报道SGLang与Miles团队提前获得两台NVIDIA Vera Rubin节点（共8张GPU）的早期访问权限，并在该平台上完成推理与强化学习训练的适配。SGLang针对Kimi K3 NVFP4模型在注意力、MoE通信及KDA核函数
SGLang SSD专家包：消费级硬件运行DeepSeek-V4-Flash与Kimi-K3
SGLang团队推出SSD Expert Pack技术，将MoE模型的专家权重存储于NVMe SSD，仅按需加载路由选中的专家。通过Expert Pack布局、直接I/O、固定暂存和GPU缓存等优化，将海量参数模型部署到消费级硬件成为可能。
NVFP4 KV Cache 加速长上下文与 Agent 推理
SGLang、Qwen 与 NVIDIA 团队联合推出 NVFP4 KV Cache 方案，基于 Blackwell 架构的 NVFP4 格式，通过双级缩放策略将 KV 缓存压缩至约 FP8 的 56%。该方案在 SGLang 中实现初始预
用 SGLang 扩展 JEV-like 决策模型
本文探讨如何利用 SGLang 高效服务 JEV-like 决策模型。通过点式与集合式提示设计，结合 Score API 与 MIS 执行优化，显著降低多候选决策的尾延迟。基准测试显示，在 Qwen3 系列模型上，MIS 在高负载下将 p9
SGLang 与 Miles 为 DeepSeek-V4.1 提供 Day-0 支持
SGLang 和 Miles 团队联合发布对 DeepSeek-V4.1 的 Day-0 支持，针对其低比率压缩、滑动窗口注意力、流形超连接及 Engram 内存等架构创新进行了深度优化。文章详述跨层 KV 共享、稀疏检索、主机内存 Eng
突破极限：DeepSeek-V4-Pro 在 H20 上的服务优化
本文深入探讨1.6万亿参数MoE模型DeepSeek-V4-Pro在H20 GPU上的高效服务方案。通过硬件角色分配、Humming MXFP4AFP8量化及Online C128技术，结合PP2/PP4预填充与低延迟/高吞吐解码配置，显著
Mooncake赋能Miles：从碎片化Rollout数据到高效批量I/O
本文探讨强化学习中Rollout数据传输的挑战与Mooncake解决方案。在Miles框架中，Rollout生成与模型训练分离部署，产生异构、碎片化的结构化数据。Mooncake通过结构化对象传输架构，实现高效PUT/GET操作，较Ray路
SGLang 亚秒级引擎恢复：权重缓存守护进程实现快速重启
针对SOTA大模型冷启动耗时过长的问题，Ant Ling Infra团队与SGLang团队推出Weight Cache Daemon。该守护进程通过CUDA IPC零拷贝映射，将量化后权重常驻GPU内存，实现从分钟级到亚秒级的权重加载加速。
追逐Batch-1极限：Ling-3.0-flash在Blackwell上的推测解码优化
本文深入分析Ling-3.0-flash混合注意力MoE模型在4张NVIDIA Blackwell GPU上的Batch-1解码优化。通过NEXTN和DSpark两条推测解码路径，单请求吞吐从288 tok/s提升至606 tok/s，均值
Qwen3.8-Flash-Next：SGLang 实现 Day-0 支持
Qwen团队开源Qwen3.8-Flash-Next，这是一款多模态MoE模型，也是Qwen4架构的早期预览。SGLang与Qwen、NVIDIA及AMD团队合作，提供Day-0支持。该模型采用Gated DeltaNet与Qwen Spa
MiniMax-H3 在 8×H200 上实现 1.95 倍无损加速，最高达 6.24 倍
SGLang Diffusion 团队在 8×NVIDIA H200 上对 MiniMax-H3 视频生成进行了全面基准测试。通过固定提示、种子、分辨率和去噪步数，SGLang 的无损路径比 Diffusers 快 1.85–1.95 倍。
Infer-forge：围绕 SGLang 的 Harness、Loop 与 Graph 工程
本文深入解析 Infer-forge 工程系统，围绕 SGLang 构建可复现的推理优化框架。通过 MonoRepo 统一跨仓库工作空间、Harness 提供执行保障、Task Loop 维持长期任务连贯性，以及 Task Graph 协调
SGLang 实现 Muse Glimmer Day-0 支持，优化本地 Agentic 推理
Meta Superintelligence Labs 与 SGLang 团队合作，为 30B 参数多模态模型 Muse Glimmer 带来 Day-0 支持。该模型具备 128k+ 上下文窗口，专为本地 Agentic 工作流设计。SG
统一基数缓存：混合模型前缀缓存的单一树结构
本文介绍SGLang的Unified Radix Cache方案，通过单一radix tree拓扑解决混合模型（FULL、SWA、MAMBA等组件）的KV缓存复用难题。组件机制分离共享前缀身份与特定复用规则，支持HiCache跨GPU L1
SGLang 实现 NVIDIA Nemotron 3.5 Lightning 零日支持
SGLang 宣布对 NVIDIA Nemotron 3.5 Lightning 提供零日支持。该模型采用 30B 参数混合专家架构，仅激活 3B 参数，专为高吞吐量代理任务设计，支持最长 1M 上下文长度。模型支持多令牌预测、DFlash