🚀 AutoRound 携手 SGLang：高效量化模型推理新纪元
Intel Neural Compressor 团队宣布 AutoRound 与 SGLang 正式合作，支持低比特量化以实现高效 LLM 推理。AutoRound 通过符号梯度优化技术，实现 INT2-INT8 等低比特量化，在 INT2
原创
Miles发布：点燃大规模MoE训练的企业级RL框架
千里之行，始于足下。今天，RadixArk团队发布了Miles，一个专为大规模MoE训练和生产环境打造的企业级强化学习框架。Miles基于轻量级RL框架slime构建，后者已悄然驱动众多后训练管道和大模型MoE训练（如GLM-4.6）。sl
LMSYS博士奖学金计划正式启动
LMSYS欣喜宣布博士奖学金计划正式启动！该计划专为美国全日制博士生设计，针对那些在开源AI基础设施社区做出重大贡献的学生。获奖者将获得高达50,000美元资助，用于未来两年的学费和相关费用。申请期为2025年11月23日至12月7日，评估
统一FP8：超越混合精度，实现稳定加速的MoE RL训练
我们实现了RL中全FP8采样和训练流程。实验显示，对于MoE模型，使用BF16训练结合FP8 rollout时，模型越大，训练-推理不一致性越严重。相比之下，统一FP8用于训练和rollout，能有效消除量化误差导致的训练-推理不一致，提升
从研究到生产：EAGLE-3在Vertex AI加速开源LLM推理2-3倍
推测解码（Speculative Decoding）能显著提升LLM推理速度，但传统方法需额外训练低效的草稿模型。Vertex AI采用EAGLE-3创新方案，仅在目标模型内部层添加轻量级草稿头（仅占2-5%模型大小），简化训练并实现2x-
SGLang推理加速：原生集成NVIDIA Model Optimizer，实现无缝量化部署
SGLang最新功能原生支持NVIDIA Model Optimizer量化！这一集成简化了从全精度模型到高性能量化端点的整个优化与部署流程，无需多步工具切换。通过SGLang中的ModelOpt API，只需三步即可完成量化（支持NVFP
让张量翱翔：R-Fork 加速大模型权重加载
本文介绍 Tensor R-Fork（Tensor Remote Fork），一种创新的权重加载方法，利用高效的跨节点设备间互连，从运行中的 SGLang 实例零拷贝加载张量至新实例。该技术带来三大优势：显著加速权重加载（如 Deepsee
SGLang 当日即支持高效开源 Nemotron 3 Nano 混合 MoE 模型
SGLang 快速集成 NVIDIA 最新发布的 Nemotron 3 Nano 模型，该模型采用混合 Transformer-Mamba 架构与 MoE 设计，总参数 30B、激活参数仅 3.6B，支持 1M 上下文长度。在 NVFP4
SGLang即刻支持MiMo-V2-Flash模型
小米MiMo-V2-Flash模型总参数达309B，激活参数仅15B，专为最大化解码效率而设计，核心采用滑动窗口注意力（SWA）和多层MTP机制。该模型针对真实服务负载优化，支持不同硬件上吞吐量与延迟的灵活权衡。结合SGLang的Spec
Mini-SGLang：轻量高效LLM推理引擎全解析
Mini-SGLang是SGLang项目的轻量版推理框架，仅用5k行Python代码，即实现了高性能LLM推理，支持Radix Attention、Chunked Prefill、Overlap Scheduling和Tensor Para
SGLang 赋能扩散大模型：即日支持 LLaDA 2.0
我们兴奋地推出 SGLang 中的 Diffusion Large Language Model (dLLM) 框架设计与实现。通过利用现有的 ChunkedPrefill 机制，该系统实现了无缝集成、无需核心架构变更、继承现有推理优化，并
SpecBundle与SpecForge v0.2：生产级推测解码模型与框架重磅发布
SpecForge团队携手蚂蚁集团、Meituan、Nex-AGI和EigenAI等行业伙伴，推出SpecBundle（Phase 1），这是基于大规模数据集训练的生产级EAGLE3模型检查点集合，旨在提升推测解码的可用性和实际性能，第一阶
SGLang 中的 EPD 解耦：视觉语言模型弹性编码器扩展
SGLang 引入 Encoder-Prefill-Decode (EPD) 解耦架构，将视觉语言模型 (VLMs) 中的视觉编码与语言处理分离，实现视觉编码容量的独立水平扩展，提升资源利用率。该方案兼容现有的 Prefill-Decode
单H200部署1TB模型：INT4 QAT RL端到端实践
受Kimi K2团队启发，SGLang RL团队成功实现INT4 Quantization-Aware Training (QAT)全流程。通过训练阶段的fake quantization和推理阶段的真实W4A16量化，实现了与BF16全精
SGLang优化GLM4-MoE生产部署：TTFT提升65%
Novita AI针对基于SGLang的GLM4-MoE模型开发了一系列生产验证的高效优化策略，涵盖从内核执行到跨节点数据传输的整个推理管道。通过Shared Experts Fusion和Suffix Decoding等技术，在代理编码工
Firefox即将一键禁用所有AI功能：Mozilla宣布在浏览器设置中添加“阻塞AI开关”
Mozilla宣布Firefox 148将新增‘阻塞AI增强’全局开关，一键禁用浏览器内所有生成式AI特性，包括翻译、PDF图像生成等。该功能源于用户反馈，优先隐私保护，已在X平台引发热议，成为反AI强推的标志性举措。预计2月24日正式发布
AI助力教育变革：中国市场迎来智能学习新纪元
在中国，AI技术正迅速渗透教育行业，推动一场前所未有的学习方式变革。智能学习平台和应用程序层出不穷，不仅提升了教学效率，更为个性化教育提供了新的可能性。
AI时代的伦理考验：数据隐私与道德边界的博弈
在人工智能迅速发展的背景下，数据隐私和道德边界的问题成为了一个迫切的社会议题。如何在技术进步与伦理规范之间取得平衡，成为行业内外关注的焦点。
Karpathy新作nanochat：百元级训练GPT-2模型，AI开源再掀波澜
前OpenAI和Tesla AI负责人Andrej Karpathy推出nanochat仓库，仅需约73美元和3小时，即可在单8xH100节点训练出媲美GPT-2的LLM。全栈工具链从预训练到聊天UI一应俱全，代码简洁高效，获GitHub
Claude-Mem：Claude Code持久记忆插件爆火GitHub，开发者痛点终获解决
Claude Code用户长期饱受上下文丢失之苦，如今开源插件Claude-Mem横空出世，赋予AI持久记忆能力。GitHub星标飙升至19.5k，token用量降95%，工具调用增20倍。X平台开发者热议不断，本地隐私存储让它迅速成为必备