Miles 引入 OPD:让蒸馏成为后训练原语
Miles 新增 On-Policy Distillation(OPD),将教师模型指导接入 rollout 与训练流程。Qwen3.5-35B-A3B 自蒸馏实验显示,纯 OPD 无需任务奖励即可把短推理行为迁移给学生模型,并保持甚至提升
Miles 新增 On-Policy Distillation(OPD),将教师模型指导接入 rollout 与训练流程。Qwen3.5-35B-A3B 自蒸馏实验显示,纯 OPD 无需任务奖励即可把短推理行为迁移给学生模型,并保持甚至提升
美国正就中国AI崛起及所谓“模型蒸馏”行为展开政策辩论。英伟达、Mistral等AI公司联合发声,敦促华盛顿避免对开放权重AI模型实施广泛限制,以免损害全球创新生态与开源社区活力。本文编译自TechCrunch,深度解析政策博弈背后的技术逻
关于Kimi K3模型快速崛起的争议,有专家向TechCrunch表示,单纯依赖对Anthropic Fable的蒸馏无法解释其强大性能。这暗示Kimi K3背后有更深层的技术架构与训练策略,挑战了AI业界“模型抄袭”的简单论断,也折射出大
印度AI初创公司Avataar推出蒸馏视频模型,每秒钟生成成本仅0.5美分,速度更快且具有文化适应性。该模型专为印度庞大多样的用户群体设计,支持本地语言和场景,有望推动AI视频创作在印度的大规模普及。
Anthropic披露,海外实验室发起三次‘工业规模’AI模型蒸馏行动,针对Claude模型。通过约2.4万个虚假账户生成超过1600万次交互,旨在窃取Claude的专有逻辑,提升自家竞争平台。模型蒸馏技术通过训练弱模型模仿强模型,此次事件
谷歌透露,攻击者利用模型蒸馏技术,通过超过10万次提示Gemini模型,试图以极低成本克隆其能力。这一事件凸显AI大模型面临的安全隐患。蒸馏技术允许模仿者从黑箱模型中提取知识,训练出性能相近的小型复制品,而无需巨额研发投入。谷歌强调,此类攻