测评 SGLang 低延迟模式：内核与运行时优化 SGLang 推出低延迟模式，通过插件框架集成 NVIDIA 和 AMD 专用内核，实现小批量场景下的显著延迟降低。在 AgentX 回放测试中，四张 NVIDIA GB300 GPU 上单并发会话 P90 每用户生成速度从 671.2 提 LMSYS SGLang 低延迟推理 NVIDIA GPU 2026年10月21日 352
测评 AMD GPU 上 FP4 混合精度推理优化 随着前沿大语言模型（LLM）规模不断扩大，对 GPU 计算力和内存带宽的需求激增。GPU 厂商和模型开发者正转向低精度浮点格式，其中 FP4（4 位浮点）量化备受关注，例如 FP4 量化的 Llama 3.3 70B 模型体积缩小 3.5 LMSYS AMD GPU FP4量化 Petit 2026年2月4日 1,470
