MLPerf Training v5.1基准测试结果发布
MLCommons近日公布了MLPerf Training v5.1基准测试结果，这是AI训练性能评估的最新一轮提交。NVIDIA继续领跑多数工作负载，凭借H100和H200 GPU集群刷新多项记录。新引入的Llama 70B FP8和St
AI测评
MLPerf Client 1.5 正式发布
MLCommons 近日发布了 MLPerf Client 1.5 基准测试套件，这是客户端 AI 推理性能评估的最新版本。该版本引入了多项优化和新场景，包括更真实的客户端负载模拟，支持热门模型如 BERT 和 Stable Diffusi
MedPerf 新增 WebUI 功能，提升隐私保护基准测试体验
MLCommons 旗下开源平台 MedPerf 近日推出 WebUI 支持，用户无需本地安装即可通过浏览器轻松运行隐私保护的机器学习基准测试。新功能集成了 SGLang 等后端，简化了模型评估流程，支持多种任务如图像分类和 NLP。Web
Shopify VLM推理基准测试详解
MLCommons近日公布VLM（视觉语言模型）推理基准测试结果，Shopify团队表现出色。本次测试聚焦LLaVA-1.5-7B等模型在电商场景下的实时推理性能，采用MLPerf Inference框架评估。Shopify利用SGLang
KTransformers加速SGLang的混合推理
KTransformers项目为Mixture-of-Experts（MoE）模型的CPU/GPU混合推理提供了一系列优化，显著提升了计算效率。通过引入AMX优化的CPU内核和高效的设备协调机制，KTransformers解决了传统混合推理
SGLang-Diffusion 两个月的进展
自2025年11月初发布以来，SGLang-Diffusion在社区中引起了广泛关注和应用。我们非常感谢开源开发者的反馈和贡献。经过两个月的优化，SGLang-Diffusion的速度提升了2.5倍。本文总结了我们在模型支持、LoRA支持、
SGLang Pipeline Parallelism：百万Token上下文扩展与性能突破
SGLang推出高度优化的Pipeline Parallelism（PP）实现，专为超长上下文推理设计。通过集成Chunked Pipeline Parallelism、Asynchronous P2P Communication和Dyna
AMD GPU 上 FP4 混合精度推理优化
随着前沿大语言模型（LLM）规模不断扩大，对 GPU 计算力和内存带宽的需求激增。GPU 厂商和模型开发者正转向低精度浮点格式，其中 FP4（4 位浮点）量化备受关注，例如 FP4 量化的 Llama 3.3 70B 模型体积缩小 3.5
SGLang实现确定性推理与可重现RL训练
本文介绍SGLang团队在实现确定性推理方面的努力，以及与slime团队合作推动可重现RL训练的进展。基于Thinking Machines Lab的batch-invariant算子，SGLang实现了完全确定性推理，同时兼容chunke
GB200 NVL72部署DeepSeek优化（二）：预填充3.8倍、解码4.8倍吞吐量
GB200 NVL72作为深度学习最强硬件之一，本文分享SGLang团队在上篇博客基础上，对DeepSeek V3/R1推理性能的进一步优化，包括FP8 attention、NVFP4 MoE、大规模专家并行（EP）、预填充-解码分离等技术
携手SGLang：在H20-96G上高效部署DeepSeek-R1的最佳实践
部署大规模Mixture-of-Experts（MoE）模型如DeepSeek-R1需要在延迟、吞吐量和成本间取得平衡，尤其在H20 GPU这种内存带宽高但计算能力相对较低的硬件上。本文分享了硬件感知部署策略及系统/内核级优化，包括单节点T
PD-Multiplexing：GreenContext驱动的高好吞吐LLM服务新范式
本文介绍我们在SGLang中支持全新服务范式PD-Multiplexing的初步成果，该范式旨在提升LLM服务的goodput。通过NVIDIA新功能GreenContext，实现同一进程内GPU资源的轻量级细粒度分区，支持prefill和
SGLang 即日支持 DeepSeek-V3.2 稀疏注意力机制
SGLang 团队宣布即日（Day 0）支持 DeepSeek-V3.2 模型。该模型基于 DeepSeek-V3.1-Terminus，通过持续训练引入 DeepSeek Sparse Attention (DSA)，一种由 Lightn
NVIDIA DGX Spark 深度评测：本地 AI 推理新标杆
NVIDIA DGX Spark 是一款紧凑型一体机，将超级计算级性能带入桌面工作站。通过 NVIDIA 早期访问计划，我们深入测试了这款设备。它搭载 GB10 Grace Blackwell Superchip，提供 128 GB 统一内
SGLang 与 NVIDIA 携手加速 InferenceMAX 基准与 GB200 性能
SGLang 和 NVIDIA 团队紧密合作，针对 NVIDIA Blackwell 架构优化推理性能，利用 FP8 attention、NVFP4 MoE 和 PD-Disaggregated Expert Parallelism 等特性
SGLang-Jax：原生TPU推理的开源利器
SGLang-Jax是由SGLang-Jax团队推出的全新开源推理引擎，完全基于Jax和XLA构建。它融合SGLang的高性能服务器架构，利用Jax编译模型前向传播，实现快速原生TPU推理，同时支持连续批处理、前缀缓存、张量并行、专家并行、
NVIDIA DGX Spark上优化GPT-OSS：释放Spark最大潜力
NVIDIA DGX Spark正式发布一周后，我们与NVIDIA紧密合作，在其上成功部署了GPT-OSS 20B和GPT-OSS 120B模型，支持SGLang框架。性能亮眼：GPT-OSS 20B达到约70 tokens/s，GPT-O
无免费午餐：MiniMax M2解构高效注意力机制
SGLang宣布首日支持MiniMax全新旗舰模型M2，这是一款紧凑、高速且成本效益高的MoE模型，总参数2300亿、活跃参数仅100亿，专为编码和代理任务打造顶级性能，同时保持强大通用智能。尽管高效注意力机制理论诱人，MiniMax团队在
SGLang Diffusion：加速视频与图像生成
SGLang Diffusion 将 SGLang 的顶尖性能扩展至扩散模型的图像和视频生成，支持主流开源模型如 Wan、Hunyuan、Qwen-Image、Qwen-Image-Edit 和 Flux。通过 OpenAI 兼容 API、
🚀 AutoRound 携手 SGLang：高效量化模型推理新纪元
Intel Neural Compressor 团队宣布 AutoRound 与 SGLang 正式合作，支持低比特量化以实现高效 LLM 推理。AutoRound 通过符号梯度优化技术，实现 INT2-INT8 等低比特量化，在 INT2