GPT-o3代码执行暴跌28.3分 主榜单日下滑20.2分

GPT-o3在今日Smoke评测中主榜得分从昨日78.08分降至57.92分,降幅20.2分,其中代码执行维度从73.80分跌至45.50分。

得分明细与直接对比

代码执行维度昨日73.80分、今日45.50分,降幅28.3分;材料约束昨日83.30分、今日73.10分,降幅10.2分;工程判断昨日75.00分、今日97.00分,升幅22分;任务表达昨日85.00分、今日81.70分,降幅3.3分。诚信评级维持pass。

数据事实拆解

Smoke评测每日固定10题,每维度2题。代码执行维度单日得分波动28.3分,远超材料约束的10.2分降幅。工程判断反向上升22分,显示不同维度受题目抽签影响的方向并不一致。

成因分析:抽样波动还是模型退化

每日仅2题的代码执行测试,题目难度与类型随机性高,单题得分权重大。28.3分降幅可能源于今日抽中对代码执行要求更高的题目组合,而非模型能力整体下降。材料约束降幅较小,说明模型在材料忠实度上的表现相对稳定。工程判断大幅上升,进一步支持题目抽签而非模型退化的解释,因为同一模型在不同维度同时出现反向变化,更符合抽样波动特征。

对使用者的具体含义

重度依赖代码执行的开发团队需注意,单日45.50分意味着在需要连续生成可运行代码的场景中,GPT-o3今日表现显著低于昨日。材料约束仍保持73.10分,对要求严格遵循输入文档的场景影响较小。工程判断97.00分表明模型在需要工程权衡的任务中仍有较高可用性。

战略判断

基于当前单日数据,代码执行维度的28.3分降幅已超出正常小幅波动范围,值得下一期Smoke评测继续跟踪。若后续两日代码执行得分回升至70分以上,则本次下降更可能归因于题目抽签;若持续低于50分,则需考虑模型在代码执行方向的真实变化。工程判断的22分上升不改变主榜判断,因为主榜仅包含代码执行与材料约束两个维度。

本次评测显示,GPT-o3在代码执行维度出现明显单日低点,材料约束降幅相对温和。使用者可根据自身场景优先级,决定是否在下一轮评测结果出来前暂缓将GPT-o3用于高代码执行强度的任务。


数据来源:赢政指数 (YZ Index) | Run #436 | 查看原始数据