SGLang 与 Miles 为 Kimi K3 提供 Day-0 支持
SGLang 与 Miles 携手 Moonshot AI 和 NVIDIA，为 2.8 万亿参数的 Kimi K3 模型提供 Day-0 支持。该混合架构融合 KDA 线性注意力与 MLA，带来全新内存管理、统一内存池及 DSpark 推
SGLang 相关资讯
RadixArk 联手 Google：SGLang 全面功能落地 TPU
RadixArk 与 Google Cloud 达成合作，将 SGLang 推理框架引入 TPU 平台，为开发者提供硬件选择的灵活性。SGLang 已获超 3 万 GitHub 星标，支持 Gemma、Qwen 等主流模型及 Wan、Flu
SGLang 量化栈重构：打造更清晰架构
量化已成为高吞吐 LLM 服务不可或缺的核心技术。随着检查点格式、模型架构和硬件后端数量激增，量化栈维护难度不断上升。本文详细解析 SGLang 团队与 Ascend 团队提出的架构重构方案，将检查点解析、参数注册、权重加载、后处理与内核执
Netpreme X-Mem 加速 SGLang HiCache：TTFT 最高提升 6.7 倍
随着长上下文、Agent 和推荐类 LLM 工作负载增长，Prefix caching 的瓶颈正从命中率转向 KV Cache 搬运带宽。Netpreme X-Mem™ 为 SGLang HiCache 增加高带宽专用 KV 内存层，在前缀
DSpark接入SGLang：用置信度驱动可变长度验证
DSpark 将半自回归 block drafter 与基于置信度的可变验证窗口结合，缓解 Speculative Decoding 在高并发下验证成本膨胀的问题。SGLang 已支持该机制，并通过 ragged CUDA graph、ov
DeepSeek-V4 Flash强化学习登陆AMD MI355X
AMD与Miles团队宣布，DeepSeek-V4 Flash RL已在搭载ROCm的AMD Instinct MI355X GPU上跑通。团队解决了SGLang与Megatron策略对齐、量化权重在线更新和多节点并行稳定性等关键问题，并通
SGLang 两周优化 GLM-5.2：8×B300 上突破 500 TPS
SGLang Team 披露了 GLM-5.2-NVFP4 在 Blackwell B300 上的两周优化成果：通过 Spec V2、IndexShare MTP、TopK-V2、Indexer Prologue Fusion 与 BF16
SGLang 与 Miles 首日支持 Inkling：975B 多模态前沿模型上线
SGLang、Miles 与 Thinking Machines Lab 合作，为 975B 参数多模态模型 Inkling 提供 Day-0 支持。新版本围绕 ShortConv、相对位置注意力和 shared-expert sink M
SGLang 的智能体辅助开发初探
SGLang 团队总结了智能体在高性能推理框架开发中的初步实践：将 CUDA 调试、性能分析、扩散模型接入、基准测试、生产事故复盘等流程沉淀为可执行的 SKILL.md、脚本和评审闭环，让 Agent 不再只写代码，而是按工程协议持续收集证
GLM4-MoE 生产优化：SGLang 实现 TTFT 加速 65%
Novita AI 基于 SGLang 为 GLM4-MoE 模型开发了一套经过生产验证的高影响力优化方案。通过端到端性能优化策略，涵盖从内核执行效率到跨节点数据传输调度等全流程瓶颈，集成 Shared Experts Fusion 与 S
AMD MI355X 借 SGLang 与 MoRI 实现 TCO 领先
SGLang 与 AMD 团队合作，通过 MoRI 通信库在 AMD Instinct MI355X GPU 上实现大规模 DeepSeek-R1 推理的竞争性 TCO。在 129 tok/s/user 交互性下，MI355X 每百万 to
异构CPU+GPU EPD解耦提升VLM服务性能
Intel与SGLang团队合作，通过Dynamo和SGLang实现了异构Encode-Prefill-Decode（EPD）解耦方案，用于视觉语言模型（VLM）服务优化。方案将视觉编码任务卸载至CPU（尤其是头节点CPU），利用Intel
SGLang 与 Miles 为 Nemotron 3 Ultra 提供 Day-0 支持
SGLang 与 Miles 宣布对 NVIDIA Nemotron 3 Ultra 实现 Day-0 支持。该模型专为长时程自主代理设计，采用混合 Transformer-Mamba MoE 架构，参数规模达 550B（激活 55B），上
下一代推测解码：DFlash与Spec V2
Modal、Z Lab与SGLang团队联合发布DFlash推测解码模型，搭配SGLang Spec V2引擎，在Qwen 3.5 397B-A17B模型上实现SOTA推理延迟。HumanEval数据集并发1场景下，吞吐量较基线提升4.3倍
SGLang 中 Waterfill 与 LPLB 优化 DeepEP MoE 负载均衡
本文介绍 SGLang 中针对 DeepEP MoE 推理的两种调度时负载均衡方案：Waterfill 和 LPLB。Waterfill 通过将共享专家动态分配给负载较低的 rank，在 DeepSeek-V3/R1 类工作负载下吞吐提升
SGLang在NVIDIA GTC 2026的高光时刻
SGLang团队携多项活动亮相NVIDIA GTC 2026，包括主旨演讲展示、开源AI专题讨论、动手训练实验室，以及Happy Hour和200人规模的LinkedIn联办Meetup。短短三天，五场盛会，聚焦LLM生态核心，汇聚Open
SGLang 中的 Elastic EP：DeepSeek MoE 部署的部分故障容忍
为高效服务大规模 Mixture-of-Experts (MoE) 模型，宽 Expert Parallelism (EP) 策略已成为必需，但其可靠性瓶颈突出：单一硬件故障可能导致整个实例崩溃，重启需数分钟。为此，SGLang 集成 El
SGLang 日零支持 NVIDIA Nemotron 3 Super，赋能高效多代理系统
SGLang 宣布 Day-0 支持 NVIDIA Nemotron 3 Super，这是 Nemotron 3 系列领先的开源模型，专为多代理协作设计。Nemotron 3 Super 采用 120B 参数混合 MoE 架构，每前向传播仅
SGLang在NVIDIA GB300 NVL72上实现25倍推理性能飞跃
SGLang团队与NVIDIA紧密合作，在多代GPU上为大规模MoE推理模型部署带来阶跃式性能提升。继Blackwell B200对比Hopper H200实现4倍加速后，现扩展至Blackwell Ultra的GB300 NVL72，在I
GB300 NVL72部署DeepSeek：长上下文推理大幅提升
Blackwell家族最新成员GB300 NVL72成为长上下文LLM推理最强平台。本文分享优化DeepSeek R1-NVFP4在128K/8K ISL/OSL长上下文服务上的最新进展，采用prefill–decode disaggreg