测评 SGLang 低延迟模式：内核与运行时优化 SGLang 推出低延迟模式，通过插件框架集成 NVIDIA 和 AMD 专用内核，实现小批量场景下的显著延迟降低。在 AgentX 回放测试中，四张 NVIDIA GB300 GPU 上单并发会话 P90 每用户生成速度从 671.2 提 LMSYS SGLang 低延迟推理 NVIDIA GPU 2026年10月21日 356
海外 运行AI模型：内存已成为新战场 在讨论AI基础设施成本时，焦点通常落在NVIDIA和GPU上，但内存正迅速崛起为关键因素。随着大语言模型的规模膨胀，训练和推理过程中对高带宽内存的需求急剧增加，导致内存成为限制性能和成本的核心瓶颈。文章探讨了这一转变背后的技术原因，并分析内 AI基础设施 内存优化 NVIDIA GPU 大语言模型 2026年2月18日 1,103
