miniTE报告:原生NVFP4如何稳定高效训练RL
InfiX.ai、Slime与SGLang团队分析了原生NVFP4在大模型RL中后期失稳的原因,覆盖量化、激活缩放、KV cache与执行路径差异,并提出TRIAGE与miniTE两条路线,在8×B300上实现约1.33–1.37倍学习器更
InfiX.ai、Slime与SGLang团队分析了原生NVFP4在大模型RL中后期失稳的原因,覆盖量化、激活缩放、KV cache与执行路径差异,并提出TRIAGE与miniTE两条路线,在8×B300上实现约1.33–1.37倍学习器更
SGLang、Qwen 与 NVIDIA 团队联合推出 NVFP4 KV Cache 方案,基于 Blackwell 架构的 NVFP4 格式,通过双级缩放策略将 KV 缓存压缩至约 FP8 的 56%。该方案在 SGLang 中实现初始预
本文介绍了Miles团队在Blackwell架构上实现的两种原生低精度RL方案:端到端MXFP8与MoE专家per-token NVFP4。通过从checkpoint转换、Megatron训练、SGLang rollout到实时权重更新的全