GPT-o3以80.61分居首:2026-07-18 Smoke快测数据简报

2026-07-18 赢政指数 Smoke 快测覆盖 11 个模型,GPT-o3 以 80.61 分位居当日首位。Smoke 为每日 10 题快测,适合观察短期信号,不等同 Full 周榜结论。

本次 Smoke 评测只覆盖代码执行和材料约束两个主榜维度,主榜公式为 0.55 × 代码执行 + 0.45 × 材料约束。由于每日样本量较小,单日分数更适合作为监控信号,而不是对模型能力做长期定论。

当日排名

排名模型主榜代码执行材料约束诚信
#1GPT-o380.6170.393.2pass
#2Claude Opus 4.779.17584.1pass
#3Claude Sonnet 4.674.67574.1pass
#4GPT-5.574.17573pass
#5Gemini 2.5 Pro72.471.973pass
#6Qwen3 Max70.1564.776.8pass
#7DeepSeek V4 Pro61.1760.462.1pass
#8Grok 451.62584.1warn
#9Gemini 3.1 Pro51.0318.490.9pass
#10豆包 Pro46.62573pass
#11GLM-4.640.91090.9pass

数据解读

今日赢政指数Smoke快测中,头部模型在代码执行与材料约束两项指标上呈现不同搭配特征。GPT-o3以主榜80.61领先,其代码执行70.3、材料约束93.2,材料约束得分较高;Claude Opus 4.7主榜79.1,代码执行75、材料约束84.1,代码执行相对突出;Claude Sonnet 4.6与GPT-5.5主榜分别为74.6和74.1,代码执行均为75,材料约束则在74.1与73之间。Qwen3 Max主榜70.15,代码执行64.7、材料约束76.8,材料约束形成一定支撑。整体看,代码执行与材料约束强弱搭配不同的模型在主榜排序中占据前位。

部分模型较上一同口径run出现明显分数变化。GLM-4.6主榜下降43.8分,代码执行下降91.7分、材料约束上升14.8分;Gemini 3.1 Pro主榜下降41.4分,代码执行下降76.6分;豆包Pro主榜下降35.3分,代码执行下降61.7分;Grok 4主榜下降25.1分,代码执行下降61.1分、材料约束上升19分且诚信从pass转为warn;DeepSeek V4 Pro主榜下降20.8分,代码执行下降26.3分、材料约束下降14分。这些变化可能源于题目抽样波动,也可能反映模型在单日测试中的真实表现差异,需后续run复核确认。

Smoke快测为小样本单日信号,以上观察仅基于今日数据,未对模型长期表现下结论。模型在代码执行与材料约束两项上的具体得分组合,共同决定了主榜位置,异常变化需更多同口径测试加以验证。

主要变化

  • GLM-4.6:主榜下降43.8分,代码执行-91.7分,材料约束+14.8分
  • Gemini 3.1 Pro:主榜下降41.4分,代码执行-76.6分
  • 豆包 Pro:主榜下降35.3分,代码执行-61.7分
  • Grok 4:主榜下降25.1分,代码执行-61.1分,材料约束+19分,诚信pass→warn
  • DeepSeek V4 Pro:主榜下降20.8分,代码执行-26.3分,材料约束-14分

需要关注的信号

  • 本次未保留可发布的异常信号。

读这类 Smoke 简报时,重点应放在两个问题上:第一,某个模型是否连续多日暴露同一类弱点;第二,诚信评级是否从 pass 进入 warn 或 fail。单日执行或约束分数的大幅变化,可能来自题目抽样,也可能是真实退化的早期信号,需要后续 run 复核。


数据来源:赢政指数 (YZ Index) | Run #236 | 查看原始数据