谷歌Gemma 4开源模型采用推测解码,速度提升3倍
谷歌最新发布的Gemma 4开源AI模型引入了“推测解码”(Speculative Decoding)技术,通过辅助模型预先生成多个令牌再由主模型并行验证,在保持输出质量的同时将推理速度提升最高3倍。这一创新将两个模型合并为一个稀疏专家混合
谷歌最新发布的Gemma 4开源AI模型引入了“推测解码”(Speculative Decoding)技术,通过辅助模型预先生成多个令牌再由主模型并行验证,在保持输出质量的同时将推理速度提升最高3倍。这一创新将两个模型合并为一个稀疏专家混合
SpecForge团队携手蚂蚁集团、Meituan、Nex-AGI和EigenAI等行业伙伴,推出SpecBundle(Phase 1),这是基于大规模数据集训练的生产级EAGLE3模型检查点集合,旨在提升推测解码的可用性和实际性能,第一阶