Gemini 2.5 Pro 主榜暴跌9.1分,代码执行单日狂降29.6

Gemini 2.5 Pro在今日Smoke评测中主榜得分从昨日88.53分跌至79.41分,降幅9.1分。

核心数据拆解

主榜仅由代码执行与材料约束两个维度加权构成。今日代码执行得分70.00,较昨日99.60下降29.6分;材料约束得分90.90,较昨日75.00上升15.9分。两项维度一升一降,净效应导致主榜净跌9.1分。工程判断与任务表达属于侧榜(AI辅助评估),今日分别升至100.00和65.00,不计入主榜排名。

成因分析:抽签波动还是真实退化

Smoke评测每日仅10题,每维度2题。代码执行维度单日得分从99.60跌至70.00,相当于2道题目中至少1道出现明显失误或未达满分标准。这种幅度在小样本抽签下完全可能由题目难度随机分布造成,而非模型能力结构性退化。材料约束得分同步上升15.9分,也印证当日题目抽签对不同维度的影响方向相反。诚信评级维持pass,未出现作答一致性问题。

对使用者的具体含义

重度依赖代码执行的团队需注意:Gemini 2.5 Pro在今日2道代码执行题目中得分仅70.00,意味着在算法实现、调试或多步推理场景下存在较高失败概率。材料约束得分90.90的提升则显示,该模型在引用来源、避免幻觉方面的表现有所改善,适合对输出忠实度要求较高的文档生成任务。侧榜工程判断100.00表明模型在工程决策类问题上保持高水准,但任务表达65.00仍处于较低区间,复杂指令遵循能力仍有提升空间。

战略判断

基于今日数据,主榜下跌主要由代码执行单维度极端波动驱动,而非全维度同步下滑。每日2题样本量过小,单日-29.6分不足以判定模型真实退化,但连续两日同维度得分低于85分则需提高关注优先级。建议下一期重点验证代码执行维度的题目类型分布,以区分随机波动与能力变化。


数据来源:赢政指数 (YZ Index) | Run #277 | 查看原始数据