SGLang 与 Miles 为 DeepSeek-V4.1 提供 Day-0 支持
SGLang 和 Miles 团队联合发布对 DeepSeek-V4.1 的 Day-0 支持，针对其低比率压缩、滑动窗口注意力、流形超连接及 Engram 内存等架构创新进行了深度优化。文章详述跨层 KV 共享、稀疏检索、主机内存 Eng
LMSYS 相关资讯
突破极限：DeepSeek-V4-Pro 在 H20 上的服务优化
本文深入探讨1.6万亿参数MoE模型DeepSeek-V4-Pro在H20 GPU上的高效服务方案。通过硬件角色分配、Humming MXFP4AFP8量化及Online C128技术，结合PP2/PP4预填充与低延迟/高吞吐解码配置，显著
Mooncake赋能Miles：从碎片化Rollout数据到高效批量I/O
本文探讨强化学习中Rollout数据传输的挑战与Mooncake解决方案。在Miles框架中，Rollout生成与模型训练分离部署，产生异构、碎片化的结构化数据。Mooncake通过结构化对象传输架构，实现高效PUT/GET操作，较Ray路
SGLang 亚秒级引擎恢复：权重缓存守护进程实现快速重启
针对SOTA大模型冷启动耗时过长的问题，Ant Ling Infra团队与SGLang团队推出Weight Cache Daemon。该守护进程通过CUDA IPC零拷贝映射，将量化后权重常驻GPU内存，实现从分钟级到亚秒级的权重加载加速。
追逐Batch-1极限：Ling-3.0-flash在Blackwell上的推测解码优化
本文深入分析Ling-3.0-flash混合注意力MoE模型在4张NVIDIA Blackwell GPU上的Batch-1解码优化。通过NEXTN和DSpark两条推测解码路径，单请求吞吐从288 tok/s提升至606 tok/s，均值
Qwen3.8-Flash-Next：SGLang 实现 Day-0 支持
Qwen团队开源Qwen3.8-Flash-Next，这是一款多模态MoE模型，也是Qwen4架构的早期预览。SGLang与Qwen、NVIDIA及AMD团队合作，提供Day-0支持。该模型采用Gated DeltaNet与Qwen Spa
MiniMax-H3 在 8×H200 上实现 1.95 倍无损加速，最高达 6.24 倍
SGLang Diffusion 团队在 8×NVIDIA H200 上对 MiniMax-H3 视频生成进行了全面基准测试。通过固定提示、种子、分辨率和去噪步数，SGLang 的无损路径比 Diffusers 快 1.85–1.95 倍。
Infer-forge：围绕 SGLang 的 Harness、Loop 与 Graph 工程
本文深入解析 Infer-forge 工程系统，围绕 SGLang 构建可复现的推理优化框架。通过 MonoRepo 统一跨仓库工作空间、Harness 提供执行保障、Task Loop 维持长期任务连贯性，以及 Task Graph 协调
SGLang 实现 Muse Glimmer Day-0 支持，优化本地 Agentic 推理
Meta Superintelligence Labs 与 SGLang 团队合作，为 30B 参数多模态模型 Muse Glimmer 带来 Day-0 支持。该模型具备 128k+ 上下文窗口，专为本地 Agentic 工作流设计。SG
统一基数缓存：混合模型前缀缓存的单一树结构
本文介绍SGLang的Unified Radix Cache方案，通过单一radix tree拓扑解决混合模型（FULL、SWA、MAMBA等组件）的KV缓存复用难题。组件机制分离共享前缀身份与特定复用规则，支持HiCache跨GPU L1
SGLang 实现 NVIDIA Nemotron 3.5 Lightning 零日支持
SGLang 宣布对 NVIDIA Nemotron 3.5 Lightning 提供零日支持。该模型采用 30B 参数混合专家架构，仅激活 3B 参数，专为高吞吐量代理任务设计，支持最长 1M 上下文长度。模型支持多令牌预测、DFlash
SGLang 实现 Qwen3.8 模型 Day-0 支持
SGLang 与 Miles 团队携手 Qwen、NVIDIA 等，为 Qwen3.8-2.4T-A95B 提供 Day-0 支持。该模型拥有 2.4T 总参数、95B 激活参数，采用混合注意力架构，对服务栈状态管理提出新挑战。文章详述混合
SGLang 高级 CUDA Graph 技术解析
本文深入探讨 SGLang 在 CUDA Graph 上的创新实践。通过重构 Runner/Backend 架构，SGLang 实现了 Breakable CUDA Graph（BCG）等高效策略，在不牺牲兼容性、启动时间和内存的前提下，最
Miles v0.1：生产级前沿后训练系统
Miles v0.1是前沿后训练的全栈生产就绪系统，继承slime设计理念，围绕“验证、干净、可定制”原则优化RL训练循环每个阶段。系统支持SGLang驱动的异步Rollout、TITO会话服务器、R3路由重放及低精度训练等特性，实现准确、
SpecForge v0.3.0：统一解耦与同址推测解码训练栈
SpecForge v0.3.0 发布重大更新，将目标模型推理与草稿模型训练完全分离，支持在线、离线及解耦工作流，兼容 EAGLE3、DFlash、Domino 等多种算法。新架构通过 Mooncake 传输特征，SGLang 捕获目标特征
SGL-Diffusion中AR+DiT全栈性能优化
本文深入剖析了SGL-Diffusion中AR+DiT混合生成框架的性能瓶颈，并通过三阶段优化实现显著加速。采用SRT替换HF后端，解耦AR与DiT并行策略，结合动态批处理与早返回机制，大幅提升硬件利用率。实验数据显示，单卡端到端延迟降低4
HPC-Ops × SGLang：腾讯混元高性能 Attention、Router GEMM 与 MoE 内核
HPC-Ops 是腾讯混元大规模生产推理中使用的开源算子库，其核心的 Dynamic Attention 和 Fused MoE 算子显著提升了模型性能，最高可将 Hy3 模型的 TPOT 降低 48.8%。本文详细介绍 HPC-Ops 中
SGLang 与 Miles 为 Kimi K3 提供 Day-0 支持
SGLang 与 Miles 携手 Moonshot AI 和 NVIDIA，为 2.8 万亿参数的 Kimi K3 模型提供 Day-0 支持。该混合架构融合 KDA 线性注意力与 MLA，带来全新内存管理、统一内存池及 DSpark 推
迈向Blackwell原生8/4位RL：Miles端到端MXFP8与NVFP4实践
本文介绍了Miles团队在Blackwell架构上实现的两种原生低精度RL方案：端到端MXFP8与MoE专家per-token NVFP4。通过从checkpoint转换、Megatron训练、SGLang rollout到实时权重更新的全
RadixArk 联手 Google：SGLang 全面功能落地 TPU
RadixArk 与 Google Cloud 达成合作，将 SGLang 推理框架引入 TPU 平台，为开发者提供硬件选择的灵活性。SGLang 已获超 3 万 GitHub 星标，支持 Gemma、Qwen 等主流模型及 Wan、Flu