突破极限：DeepSeek-V4-Pro 在 H20 上的服务优化
本文深入探讨1.6万亿参数MoE模型DeepSeek-V4-Pro在H20 GPU上的高效服务方案。通过硬件角色分配、Humming MXFP4AFP8量化及Online C128技术，结合PP2/PP4预填充与低延迟/高吞吐解码配置，显著
LLM推理 相关资讯
SGLang 高级 CUDA Graph 技术解析
本文深入探讨 SGLang 在 CUDA Graph 上的创新实践。通过重构 Runner/Backend 架构，SGLang 实现了 Breakable CUDA Graph（BCG）等高效策略，在不牺牲兼容性、启动时间和内存的前提下，最
Netpreme X-Mem 加速 SGLang HiCache：TTFT 最高提升 6.7 倍
随着长上下文、Agent 和推荐类 LLM 工作负载增长，Prefix caching 的瓶颈正从命中率转向 KV Cache 搬运带宽。Netpreme X-Mem™ 为 SGLang HiCache 增加高带宽专用 KV 内存层，在前缀
SGLang在NVIDIA GTC 2026的高光时刻
SGLang团队携多项活动亮相NVIDIA GTC 2026，包括主旨演讲展示、开源AI专题讨论、动手训练实验室，以及Happy Hour和200人规模的LinkedIn联办Meetup。短短三天，五场盛会，聚焦LLM生态核心，汇聚Open