测评 SGLang 低延迟模式：内核与运行时优化 SGLang 推出低延迟模式，通过插件框架集成 NVIDIA 和 AMD 专用内核，实现小批量场景下的显著延迟降低。在 AgentX 回放测试中，四张 NVIDIA GB300 GPU 上单并发会话 P90 每用户生成速度从 671.2 提 LMSYS SGLang 低延迟推理 NVIDIA GPU 5小时前 72
