MiniMax-H3 在 8×H200 上实现 1.95 倍无损加速，最高达 6.24 倍
SGLang Diffusion 团队在 8×NVIDIA H200 上对 MiniMax-H3 视频生成进行了全面基准测试。通过固定提示、种子、分辨率和去噪步数，SGLang 的无损路径比 Diffusers 快 1.85–1.95 倍。
SGLang 相关资讯
Infer-forge：围绕 SGLang 的 Harness、Loop 与 Graph 工程
本文深入解析 Infer-forge 工程系统，围绕 SGLang 构建可复现的推理优化框架。通过 MonoRepo 统一跨仓库工作空间、Harness 提供执行保障、Task Loop 维持长期任务连贯性，以及 Task Graph 协调
SGLang 实现 Muse Glimmer Day-0 支持，优化本地 Agentic 推理
Meta Superintelligence Labs 与 SGLang 团队合作，为 30B 参数多模态模型 Muse Glimmer 带来 Day-0 支持。该模型具备 128k+ 上下文窗口，专为本地 Agentic 工作流设计。SG
统一基数缓存：混合模型前缀缓存的单一树结构
本文介绍SGLang的Unified Radix Cache方案，通过单一radix tree拓扑解决混合模型（FULL、SWA、MAMBA等组件）的KV缓存复用难题。组件机制分离共享前缀身份与特定复用规则，支持HiCache跨GPU L1
SGLang 实现 NVIDIA Nemotron 3.5 Lightning 零日支持
SGLang 宣布对 NVIDIA Nemotron 3.5 Lightning 提供零日支持。该模型采用 30B 参数混合专家架构，仅激活 3B 参数，专为高吞吐量代理任务设计，支持最长 1M 上下文长度。模型支持多令牌预测、DFlash
SGLang 实现 Qwen3.8 模型 Day-0 支持
SGLang 与 Miles 团队携手 Qwen、NVIDIA 等，为 Qwen3.8-2.4T-A95B 提供 Day-0 支持。该模型拥有 2.4T 总参数、95B 激活参数，采用混合注意力架构，对服务栈状态管理提出新挑战。文章详述混合
SGLang 高级 CUDA Graph 技术解析
本文深入探讨 SGLang 在 CUDA Graph 上的创新实践。通过重构 Runner/Backend 架构，SGLang 实现了 Breakable CUDA Graph（BCG）等高效策略，在不牺牲兼容性、启动时间和内存的前提下，最
Miles v0.1：生产级前沿后训练系统
Miles v0.1是前沿后训练的全栈生产就绪系统，继承slime设计理念，围绕“验证、干净、可定制”原则优化RL训练循环每个阶段。系统支持SGLang驱动的异步Rollout、TITO会话服务器、R3路由重放及低精度训练等特性，实现准确、
SpecForge v0.3.0：统一解耦与同址推测解码训练栈
SpecForge v0.3.0 发布重大更新，将目标模型推理与草稿模型训练完全分离，支持在线、离线及解耦工作流，兼容 EAGLE3、DFlash、Domino 等多种算法。新架构通过 Mooncake 传输特征，SGLang 捕获目标特征
SGL-Diffusion中AR+DiT全栈性能优化
本文深入剖析了SGL-Diffusion中AR+DiT混合生成框架的性能瓶颈，并通过三阶段优化实现显著加速。采用SRT替换HF后端，解耦AR与DiT并行策略，结合动态批处理与早返回机制，大幅提升硬件利用率。实验数据显示，单卡端到端延迟降低4
SGLang 与 Miles 为 Kimi K3 提供 Day-0 支持
SGLang 与 Miles 携手 Moonshot AI 和 NVIDIA，为 2.8 万亿参数的 Kimi K3 模型提供 Day-0 支持。该混合架构融合 KDA 线性注意力与 MLA，带来全新内存管理、统一内存池及 DSpark 推
RadixArk 联手 Google：SGLang 全面功能落地 TPU
RadixArk 与 Google Cloud 达成合作，将 SGLang 推理框架引入 TPU 平台，为开发者提供硬件选择的灵活性。SGLang 已获超 3 万 GitHub 星标，支持 Gemma、Qwen 等主流模型及 Wan、Flu
SGLang 量化栈重构：打造更清晰架构
量化已成为高吞吐 LLM 服务不可或缺的核心技术。随着检查点格式、模型架构和硬件后端数量激增，量化栈维护难度不断上升。本文详细解析 SGLang 团队与 Ascend 团队提出的架构重构方案，将检查点解析、参数注册、权重加载、后处理与内核执
Netpreme X-Mem 加速 SGLang HiCache：TTFT 最高提升 6.7 倍
随着长上下文、Agent 和推荐类 LLM 工作负载增长，Prefix caching 的瓶颈正从命中率转向 KV Cache 搬运带宽。Netpreme X-Mem™ 为 SGLang HiCache 增加高带宽专用 KV 内存层，在前缀
DSpark接入SGLang：用置信度驱动可变长度验证
DSpark 将半自回归 block drafter 与基于置信度的可变验证窗口结合，缓解 Speculative Decoding 在高并发下验证成本膨胀的问题。SGLang 已支持该机制，并通过 ragged CUDA graph、ov
DeepSeek-V4 Flash强化学习登陆AMD MI355X
AMD与Miles团队宣布，DeepSeek-V4 Flash RL已在搭载ROCm的AMD Instinct MI355X GPU上跑通。团队解决了SGLang与Megatron策略对齐、量化权重在线更新和多节点并行稳定性等关键问题，并通
SGLang 两周优化 GLM-5.2：8×B300 上突破 500 TPS
SGLang Team 披露了 GLM-5.2-NVFP4 在 Blackwell B300 上的两周优化成果：通过 Spec V2、IndexShare MTP、TopK-V2、Indexer Prologue Fusion 与 BF16
SGLang 与 Miles 首日支持 Inkling：975B 多模态前沿模型上线
SGLang、Miles 与 Thinking Machines Lab 合作，为 975B 参数多模态模型 Inkling 提供 Day-0 支持。新版本围绕 ShortConv、相对位置注意力和 shared-expert sink M
SGLang 的智能体辅助开发初探
SGLang 团队总结了智能体在高性能推理框架开发中的初步实践：将 CUDA 调试、性能分析、扩散模型接入、基准测试、生产事故复盘等流程沉淀为可执行的 SKILL.md、脚本和评审闭环，让 Agent 不再只写代码，而是按工程协议持续收集证
GLM4-MoE 生产优化：SGLang 实现 TTFT 加速 65%
Novita AI 基于 SGLang 为 GLM4-MoE 模型开发了一套经过生产验证的高影响力优化方案。通过端到端性能优化策略，涵盖从内核执行效率到跨节点数据传输调度等全流程瓶颈，集成 Shared Experts Fusion 与 S