LLM服务相关资讯

SGLang 亚秒级引擎恢复：权重缓存守护进程实现快速重启

针对SOTA大模型冷启动耗时过长的问题，Ant Ling Infra团队与SGLang团队推出Weight Cache Daemon。该守护进程通过CUDA IPC零拷贝映射，将量化后权重常驻GPU内存，实现从分钟级到亚秒级的权重加载加速。