HiCache如何支撑多并行与分布式推理
Agentic应用会反复向模型提交超长且高度相似的历史上下文。HiCache在Radix cache基础上把KV复用扩展到主机内存与外部存储，并进一步适配CP、PP、Speculative decoding和P/D分离等生产级推理架构。
SGLang 相关资讯
SGLang 弹性 EP 扩容：用 NIXL 无重启扩展 MoE 推理
SGLang 引入 Elastic Expert Parallelism Scaling，让 MoE 推理服务可在运行中细粒度增加 GPU，无需完整副本或重启。借助 Mooncake PG 与 NIXL，系统在 8×H100 测试中比重启更
SGLang 推出 AWS Trainium 插件 Beta：让推理与 RL Rollout 跑上专用 AI 芯片
SGLang 团队宣布与 AWS 合作推出 SGLang Trainium plugin Beta，基于新发布的 TorchNeuron，为 AWS Trainium2 与 Trainium3 提供 LLM 推理服务和 RL rollout
MI355X 上训练 SWE 智能体：Miles 如何驯服长尾轨迹
AMD 与 Miles 团队在 AMD Instinct MI355X 上，用 Miles、SGLang、Megatron-LM 和 Harbor 对 Qwen3-30B-A3B-Instruct 进行全异步 agentic RL 训练，将
不止对标 DeepInfer：SGLang 交付了什么
DeepSeek 开源 DeepInfer 后，SGLang 团队用 DeepInfer 自身基准在相同硬件上复测 DeepSeek-V4.1-Flash。结果显示，SGLang 在 prefill 吞吐、decode 步长等关键指标上持平
miniTE报告：原生NVFP4如何稳定高效训练RL
InfiX.ai、Slime与SGLang团队分析了原生NVFP4在大模型RL中后期失稳的原因，覆盖量化、激活缩放、KV cache与执行路径差异，并提出TRIAGE与miniTE两条路线，在8×B300上实现约1.33–1.37倍学习器更
SGLang 安全更新：强化请求隔离机制
2026年9月，Cloudflare向SGLang团队报告了GLM-5.3部署中存在的跨请求KV cache暴露漏洞。该漏洞源于异步RDMA传输与请求中止路径的竞态条件，可能导致用户会话数据泄露。团队与Cloudflare合作修复了准入拒绝
SGLang 为 NVIDIA Nemotron 3.5 Super VL 提供零日支持
NVIDIA Nemotron 3.5 Super VL 是一款开放多模态模型，专为文本、图像、文档和视频输入设计，支持代理推理与工具使用。该模型采用1200亿参数混合专家架构，每次激活120亿参数，结合C-RADIOv4视觉编码、Mamb
SGLang 为 Muse Spark Open 提供首日支持
Muse Spark Open 是一款 816B 参数的开放权重多模态 MoE 模型，激活参数约 42B，支持文本、图像、视频和音频输入及 1M token 上下文。SGLang 与 Miles 团队实现 Day-0 支持，通过序列并行、N
SGLang 赋能 Beam 模型生产级部署
Reflection 推出的 Beam 是一款 501B 参数的 MoE 模型，每 token 激活 23B 参数，专为软件工程和长时程智能体任务设计。SGLang 原生支持 Beam 并驱动其生产 API，提供 BF16、NVFP4、动态
SGLang 低延迟模式：内核与运行时优化
SGLang 推出低延迟模式，通过插件框架集成 NVIDIA 和 AMD 专用内核，实现小批量场景下的显著延迟降低。在 AgentX 回放测试中，四张 NVIDIA GB300 GPU 上单并发会话 P90 每用户生成速度从 671.2 提
SGLang-TorchTPU：TPU上的PyTorch原生生产级服务
SGLang-TorchTPU今日正式开源，由RadixArk团队与Google、Meta合作推出。该插件将SGLang完整功能集带到Google Cloud TPU，支持Muse Spark Open、GLM-5.3、DeepSeek V
SGLang SSD专家包：消费级硬件运行DeepSeek-V4-Flash与Kimi-K3
SGLang团队推出SSD Expert Pack技术，将MoE模型的专家权重存储于NVMe SSD，仅按需加载路由选中的专家。通过Expert Pack布局、直接I/O、固定暂存和GPU缓存等优化，将海量参数模型部署到消费级硬件成为可能。
NVFP4 KV Cache 加速长上下文与 Agent 推理
SGLang、Qwen 与 NVIDIA 团队联合推出 NVFP4 KV Cache 方案，基于 Blackwell 架构的 NVFP4 格式，通过双级缩放策略将 KV 缓存压缩至约 FP8 的 56%。该方案在 SGLang 中实现初始预
用 SGLang 扩展 JEV-like 决策模型
本文探讨如何利用 SGLang 高效服务 JEV-like 决策模型。通过点式与集合式提示设计，结合 Score API 与 MIS 执行优化，显著降低多候选决策的尾延迟。基准测试显示，在 Qwen3 系列模型上，MIS 在高负载下将 p9
SGLang 与 Miles 为 DeepSeek-V4.1 提供 Day-0 支持
SGLang 和 Miles 团队联合发布对 DeepSeek-V4.1 的 Day-0 支持，针对其低比率压缩、滑动窗口注意力、流形超连接及 Engram 内存等架构创新进行了深度优化。文章详述跨层 KV 共享、稀疏检索、主机内存 Eng
突破极限：DeepSeek-V4-Pro 在 H20 上的服务优化
本文深入探讨1.6万亿参数MoE模型DeepSeek-V4-Pro在H20 GPU上的高效服务方案。通过硬件角色分配、Humming MXFP4AFP8量化及Online C128技术，结合PP2/PP4预填充与低延迟/高吞吐解码配置，显著
SGLang 亚秒级引擎恢复：权重缓存守护进程实现快速重启
针对SOTA大模型冷启动耗时过长的问题，Ant Ling Infra团队与SGLang团队推出Weight Cache Daemon。该守护进程通过CUDA IPC零拷贝映射，将量化后权重常驻GPU内存，实现从分钟级到亚秒级的权重加载加速。
追逐Batch-1极限：Ling-3.0-flash在Blackwell上的推测解码优化
本文深入分析Ling-3.0-flash混合注意力MoE模型在4张NVIDIA Blackwell GPU上的Batch-1解码优化。通过NEXTN和DSpark两条推测解码路径，单请求吞吐从288 tok/s提升至606 tok/s，均值
Qwen3.8-Flash-Next：SGLang 实现 Day-0 支持
Qwen团队开源Qwen3.8-Flash-Next，这是一款多模态MoE模型，也是Qwen4架构的早期预览。SGLang与Qwen、NVIDIA及AMD团队合作，提供Day-0支持。该模型采用Gated DeltaNet与Qwen Spa