DeepSeek-V4 Flash强化学习登陆AMD MI355X
AMD与Miles团队宣布，DeepSeek-V4 Flash RL已在搭载ROCm的AMD Instinct MI355X GPU上跑通。团队解决了SGLang与Megatron策略对齐、量化权重在线更新和多节点并行稳定性等关键问题，并通
SGLang 相关资讯
SGLang 两周优化 GLM-5.2：8×B300 上突破 500 TPS
SGLang Team 披露了 GLM-5.2-NVFP4 在 Blackwell B300 上的两周优化成果：通过 Spec V2、IndexShare MTP、TopK-V2、Indexer Prologue Fusion 与 BF16
SGLang 与 Miles 首日支持 Inkling：975B 多模态前沿模型上线
SGLang、Miles 与 Thinking Machines Lab 合作，为 975B 参数多模态模型 Inkling 提供 Day-0 支持。新版本围绕 ShortConv、相对位置注意力和 shared-expert sink M
SGLang 的智能体辅助开发初探
SGLang 团队总结了智能体在高性能推理框架开发中的初步实践：将 CUDA 调试、性能分析、扩散模型接入、基准测试、生产事故复盘等流程沉淀为可执行的 SKILL.md、脚本和评审闭环，让 Agent 不再只写代码，而是按工程协议持续收集证
GLM4-MoE 生产优化：SGLang 实现 TTFT 加速 65%
Novita AI 基于 SGLang 为 GLM4-MoE 模型开发了一套经过生产验证的高影响力优化方案。通过端到端性能优化策略，涵盖从内核执行效率到跨节点数据传输调度等全流程瓶颈，集成 Shared Experts Fusion 与 S
AMD MI355X 借 SGLang 与 MoRI 实现 TCO 领先
SGLang 与 AMD 团队合作，通过 MoRI 通信库在 AMD Instinct MI355X GPU 上实现大规模 DeepSeek-R1 推理的竞争性 TCO。在 129 tok/s/user 交互性下，MI355X 每百万 to
异构CPU+GPU EPD解耦提升VLM服务性能
Intel与SGLang团队合作，通过Dynamo和SGLang实现了异构Encode-Prefill-Decode（EPD）解耦方案，用于视觉语言模型（VLM）服务优化。方案将视觉编码任务卸载至CPU（尤其是头节点CPU），利用Intel
SGLang 与 Miles 为 Nemotron 3 Ultra 提供 Day-0 支持
SGLang 与 Miles 宣布对 NVIDIA Nemotron 3 Ultra 实现 Day-0 支持。该模型专为长时程自主代理设计，采用混合 Transformer-Mamba MoE 架构，参数规模达 550B（激活 55B），上
下一代推测解码：DFlash与Spec V2
Modal、Z Lab与SGLang团队联合发布DFlash推测解码模型，搭配SGLang Spec V2引擎，在Qwen 3.5 397B-A17B模型上实现SOTA推理延迟。HumanEval数据集并发1场景下，吞吐量较基线提升4.3倍
SGLang 中 Waterfill 与 LPLB 优化 DeepEP MoE 负载均衡
本文介绍 SGLang 中针对 DeepEP MoE 推理的两种调度时负载均衡方案：Waterfill 和 LPLB。Waterfill 通过将共享专家动态分配给负载较低的 rank，在 DeepSeek-V3/R1 类工作负载下吞吐提升
SGLang在NVIDIA GTC 2026的高光时刻
SGLang团队携多项活动亮相NVIDIA GTC 2026，包括主旨演讲展示、开源AI专题讨论、动手训练实验室，以及Happy Hour和200人规模的LinkedIn联办Meetup。短短三天，五场盛会，聚焦LLM生态核心，汇聚Open
SGLang 中的 Elastic EP：DeepSeek MoE 部署的部分故障容忍
为高效服务大规模 Mixture-of-Experts (MoE) 模型，宽 Expert Parallelism (EP) 策略已成为必需，但其可靠性瓶颈突出：单一硬件故障可能导致整个实例崩溃，重启需数分钟。为此，SGLang 集成 El
SGLang 日零支持 NVIDIA Nemotron 3 Super，赋能高效多代理系统
SGLang 宣布 Day-0 支持 NVIDIA Nemotron 3 Super，这是 Nemotron 3 系列领先的开源模型，专为多代理协作设计。Nemotron 3 Super 采用 120B 参数混合 MoE 架构，每前向传播仅
SGLang在NVIDIA GB300 NVL72上实现25倍推理性能飞跃
SGLang团队与NVIDIA紧密合作，在多代GPU上为大规模MoE推理模型部署带来阶跃式性能提升。继Blackwell B200对比Hopper H200实现4倍加速后，现扩展至Blackwell Ultra的GB300 NVL72，在I
GB300 NVL72部署DeepSeek：长上下文推理大幅提升
Blackwell家族最新成员GB300 NVL72成为长上下文LLM推理最强平台。本文分享优化DeepSeek R1-NVFP4在128K/8K ISL/OSL长上下文服务上的最新进展，采用prefill–decode disaggreg
释放计算潜能：Qwen3与Qwen3-VL在AMD MI300X上的极致延迟优化
阿里云Qwen团队与AMD AI框架团队携手，在AMD Instinct™ MI300X系列GPU上基于SGLang框架，对Qwen3-235B和Qwen3-VL-235B实现极端延迟优化。Qwen3-235B相比基线，TTFT提升1.67
AAAI 2025：LMSYS Org 发布Chatbot Arena最新基准
LMSYS Org 在 AAAI 2025 大会上发布了 Chatbot Arena 的最新基准测试结果。该基准采用 Elo Rating 系统，通过海量用户投票评估了众多大语言模型的表现。Claude 3.5 Sonnet 以 1300+
MLPerf Auto v0.5 基准结果发布：LMSYS Org 领跑
MLCommons 近日公布 MLPerf Auto v0.5 基准测试结果，这是针对自动化机器学习（AutoML）的最新标准。LMSYS Org 凭借创新方法脱颖而出，使用 Chatbot Arena 的 Elo Rating 作为核心质
DeepSeek Inference 5.1 基准测试全解析
DeepSeek Inference 5.1 是DeepSeek最新发布的推理引擎，在 MLCommons 推理基准中表现出色。该版本针对大模型高效推理进行了优化，支持 SGLang 等框架，显著提升了吞吐量和延迟性能。测试数据显示，在 L
ISO-AUS：MLCommons发布新一代AI推理基准
MLCommons与LMSYS Org合作推出ISO-AUS基准测试，这是首个针对AI模型隔离推理优化的标准化框架。ISO-AUS聚焦于高负载下的模型隔离性能、资源利用率和延迟控制，涵盖从边缘设备到云端服务器的多种场景。测试结果显示，领先模