SGLang 与 Miles 为 Kimi K3 提供 Day-0 支持
SGLang 与 Miles 携手 Moonshot AI 和 NVIDIA，为 2.8 万亿参数的 Kimi K3 模型提供 Day-0 支持。该混合架构融合 KDA 线性注意力与 MLA，带来全新内存管理、统一内存池及 DSpark 推
LMSYS 相关资讯
迈向Blackwell原生8/4位RL：Miles端到端MXFP8与NVFP4实践
本文介绍了Miles团队在Blackwell架构上实现的两种原生低精度RL方案：端到端MXFP8与MoE专家per-token NVFP4。通过从checkpoint转换、Megatron训练、SGLang rollout到实时权重更新的全
RadixArk 联手 Google：SGLang 全面功能落地 TPU
RadixArk 与 Google Cloud 达成合作，将 SGLang 推理框架引入 TPU 平台，为开发者提供硬件选择的灵活性。SGLang 已获超 3 万 GitHub 星标，支持 Gemma、Qwen 等主流模型及 Wan、Flu
SGLang 量化栈重构：打造更清晰架构
量化已成为高吞吐 LLM 服务不可或缺的核心技术。随着检查点格式、模型架构和硬件后端数量激增，量化栈维护难度不断上升。本文详细解析 SGLang 团队与 Ascend 团队提出的架构重构方案，将检查点解析、参数注册、权重加载、后处理与内核执
Netpreme X-Mem 加速 SGLang HiCache：TTFT 最高提升 6.7 倍
随着长上下文、Agent 和推荐类 LLM 工作负载增长，Prefix caching 的瓶颈正从命中率转向 KV Cache 搬运带宽。Netpreme X-Mem™ 为 SGLang HiCache 增加高带宽专用 KV 内存层，在前缀
DSpark接入SGLang：用置信度驱动可变长度验证
DSpark 将半自回归 block drafter 与基于置信度的可变验证窗口结合，缓解 Speculative Decoding 在高并发下验证成本膨胀的问题。SGLang 已支持该机制，并通过 ragged CUDA graph、ov
DeepSeek-V4 Flash强化学习登陆AMD MI355X
AMD与Miles团队宣布，DeepSeek-V4 Flash RL已在搭载ROCm的AMD Instinct MI355X GPU上跑通。团队解决了SGLang与Megatron策略对齐、量化权重在线更新和多节点并行稳定性等关键问题，并通
SGLang 两周优化 GLM-5.2：8×B300 上突破 500 TPS
SGLang Team 披露了 GLM-5.2-NVFP4 在 Blackwell B300 上的两周优化成果：通过 Spec V2、IndexShare MTP、TopK-V2、Indexer Prologue Fusion 与 BF16
SGLang 与 Miles 首日支持 Inkling：975B 多模态前沿模型上线
SGLang、Miles 与 Thinking Machines Lab 合作，为 975B 参数多模态模型 Inkling 提供 Day-0 支持。新版本围绕 ShortConv、相对位置注意力和 shared-expert sink M
Miles 引入 OPD：让蒸馏成为后训练原语
Miles 新增 On-Policy Distillation（OPD），将教师模型指导接入 rollout 与训练流程。Qwen3.5-35B-A3B 自蒸馏实验显示，纯 OPD 无需任务奖励即可把短推理行为迁移给学生模型，并保持甚至提升
SGLang 的智能体辅助开发初探
SGLang 团队总结了智能体在高性能推理框架开发中的初步实践：将 CUDA 调试、性能分析、扩散模型接入、基准测试、生产事故复盘等流程沉淀为可执行的 SKILL.md、脚本和评审闭环，让 Agent 不再只写代码，而是按工程协议持续收集证
GLM4-MoE 生产优化：SGLang 实现 TTFT 加速 65%
Novita AI 基于 SGLang 为 GLM4-MoE 模型开发了一套经过生产验证的高影响力优化方案。通过端到端性能优化策略，涵盖从内核执行效率到跨节点数据传输调度等全流程瓶颈，集成 Shared Experts Fusion 与 S
INT4 QAT RL 实战：单 H200 部署 1TB 模型
SGLang RL 团队受 Kimi K2 启发，成功落地 INT4 Quantization-Aware Training (QAT) 端到端方案。通过训练阶段的 fake quantization 与推理阶段 W4A16 真实量化结合，
不留任何Token：Miles框架TITO原则深度解析
在智能体强化学习中，rollout并非单次生成，而是多轮模型调用、工具输出与恢复生成的链式过程。Token-In-Token-Out（TITO）原则旨在消除训练与推理间的关键不匹配，确保训练器评估的token序列与推理引擎实际产生和消费的序
AMD MI355X 借 SGLang 与 MoRI 实现 TCO 领先
SGLang 与 AMD 团队合作，通过 MoRI 通信库在 AMD Instinct MI355X GPU 上实现大规模 DeepSeek-R1 推理的竞争性 TCO。在 129 tok/s/user 交互性下，MI355X 每百万 to
异构CPU+GPU EPD解耦提升VLM服务性能
Intel与SGLang团队合作，通过Dynamo和SGLang实现了异构Encode-Prefill-Decode（EPD）解耦方案，用于视觉语言模型（VLM）服务优化。方案将视觉编码任务卸载至CPU（尤其是头节点CPU），利用Intel
SGLang 与 Miles 为 Nemotron 3 Ultra 提供 Day-0 支持
SGLang 与 Miles 宣布对 NVIDIA Nemotron 3 Ultra 实现 Day-0 支持。该模型专为长时程自主代理设计，采用混合 Transformer-Mamba MoE 架构，参数规模达 550B（激活 55B），上
Higgs Audio v3 TTS 登陆 SGLang-Omni：实时可控语音代理新突破
Boson AI 与 SGLang-Omni 团队近日宣布，Higgs Audio v3 TTS 模型已在 SGLang-Omni 框架上实现端到端部署。该模型专为对话式语音代理设计，支持 100 种语言且 WER/CER 保持个位数，同时
LMSYS 宣布2026年博士奖学金首位获得者
LMSYS 正式宣布2026年博士奖学金首位获奖者为加州大学圣地亚哥分校博士生Will Lin。他因在开源AI基础设施领域的杰出贡献获此殊荣，奖学金最高可达5万美元，用于支持学费及相关费用。Will Lin目前领导FastVideo项目，已
下一代推测解码：DFlash与Spec V2
Modal、Z Lab与SGLang团队联合发布DFlash推测解码模型，搭配SGLang Spec V2引擎，在Qwen 3.5 397B-A17B模型上实现SOTA推理延迟。HumanEval数据集并发1场景下，吞吐量较基线提升4.3倍