GPT-o3以95.91分居首:2026-08-09 Smoke快测数据简报

2026-08-09 赢政指数 Smoke 快测覆盖 9 个模型,GPT-o3 以 95.91 分位居当日首位。Smoke 为每日 10 题快测,适合观察短期信号,不等同 Full 周榜结论。

本次 Smoke 评测只覆盖代码执行和材料约束两个主榜维度,主榜公式为 0.55 × 代码执行 + 0.45 × 材料约束。由于每日样本量较小,单日分数更适合作为监控信号,而不是对模型能力做长期定论。

当日排名

排名模型主榜代码执行材料约束诚信
#1GPT-o395.9110090.9warn
#2Claude Opus 4.792.8510084.1pass
#3GPT-5.588.7510075pass
#4DeepSeek V4 Pro86.510070pass
#5Qwen3 Max85.829969.7pass
#6Gemini 3.1 Pro84.6610065.9pass
#7Grok 484.2799.365.9pass
#8Claude Sonnet 4.669.567562.9pass
#9Gemini 2.5 Pro63.9569.856.8pass

数据解读

今日赢政指数Smoke快测显示,头部模型在代码执行与材料约束的搭配上呈现明显分化。GPT-o3主榜95.91,代码执行100、材料约束90.9;Claude Opus 4.7主榜92.85,代码执行100、材料约束84.1;GPT-5.5主榜88.75,代码执行100、材料约束75;DeepSeek V4 Pro主榜86.5,代码执行100、材料约束70。这些模型代码执行均达到100或接近,材料约束则从90.9到70不等,形成主榜领先的基础。

多模型出现显著下滑,其中Gemini 2.5 Pro主榜-19.4分、代码执行-25分、材料约束-12.5分,Claude Sonnet 4.6主榜-15.7分、材料约束-34.9分,Gemini 3.1 Pro主榜-11.7分、材料约束-25.9分,Grok 4主榜-11分、材料约束-23.6分,Qwen3 Max主榜-10.2分、材料约束-21.5分。DeepSeek V4 Pro材料约束暴跌-19.5分,Qwen3 Max主榜暴跌-10.2分,Gemini 3.1 Pro主榜暴跌-11.7分,Grok 4主榜暴跌-11分,Claude Sonnet 4.6主榜暴跌-15.7分,Gemini 2.5 Pro主榜暴跌-19.4分。

上述异常信号可能源于题目抽样波动,也可能是真实退化所致,需后续run复核确认。GLM-4.6与豆包Pro因数据不完整未参与排名。Smoke作为小样本单日信号,相关观察仅供参考。

主要变化

  • Gemini 2.5 Pro:主榜下降19.4分,代码执行-25分,材料约束-12.5分
  • Claude Sonnet 4.6:主榜下降15.7分,材料约束-34.9分
  • Gemini 3.1 Pro:主榜下降11.7分,材料约束-25.9分
  • Grok 4:主榜下降11分,材料约束-23.6分
  • Qwen3 Max:主榜下降10.2分,材料约束-21.5分

需要关注的信号

  • DeepSeek V4 Pro:材料约束暴跌 -19.5 分
  • Qwen3 Max:主榜暴跌 -10.2 分
  • Gemini 3.1 Pro:主榜暴跌 -11.7 分
  • Grok 4:主榜暴跌 -11 分
  • Claude Sonnet 4.6:主榜暴跌 -15.7 分
  • Gemini 2.5 Pro:主榜暴跌 -19.4 分
  • GLM-4.6:数据不完整(缺 judgment,integrity 维度,API 故障/超时),已进入自动补跑,本期不参与排名
  • 豆包 Pro:数据不完整(缺 execution,grounding,judgment,integrity,communication 维度,API 故障/超时),已进入自动补跑,本期不参与排名

读这类 Smoke 简报时,重点应放在两个问题上:第一,某个模型是否连续多日暴露同一类弱点;第二,诚信评级是否从 pass 进入 warn 或 fail。单日执行或约束分数的大幅变化,可能来自题目抽样,也可能是真实退化的早期信号,需要后续 run 复核。


数据来源:赢政指数 (YZ Index) | Run #270 | 查看原始数据