SGLang 低延迟模式：内核与运行时优化
SGLang 推出低延迟模式，通过插件框架集成 NVIDIA 和 AMD 专用内核，实现小批量场景下的显著延迟降低。在 AgentX 回放测试中，四张 NVIDIA GB300 GPU 上单并发会话 P90 每用户生成速度从 671.2 提
SGLang 推出低延迟模式，通过插件框架集成 NVIDIA 和 AMD 专用内核，实现小批量场景下的显著延迟降低。在 AgentX 回放测试中，四张 NVIDIA GB300 GPU 上单并发会话 P90 每用户生成速度从 671.2 提
MLPerf Inference v6.0 基准发布显著扩展了对开源大语言模型（LLM）的覆盖。随着行业转向更专业化开源模型，基准测试需适应部署策略与架构变化。本轮引入两大亮点：GPT-OSS 120B 新基准，基于117B参数MoE架构，