豆包 Pro以93.01分居首:2026-11-20 Smoke快测数据简报

2026-11-20 赢政指数 Smoke 快测覆盖 14 个模型,豆包 Pro 以 93.01 分位居当日首位。Smoke 为每日 10 题快测,适合观察短期信号,不等同 Full 周榜结论。

本次 Smoke 评测只覆盖代码执行和材料约束两个主榜维度,主榜公式为 0.55 × 代码执行 + 0.45 × 材料约束。由于每日样本量较小,单日分数更适合作为监控信号,而不是对模型能力做长期定论。

当日排名

排名模型主榜代码执行材料约束诚信
#1豆包 Pro93.0198.586.3pass
#2Claude Opus 4.792.1694.589.3pass
#3GPT-6 Astra88.9396.879.3pass
#4Gemini 2.5 Pro80.097586.3pass
#5GPT-6 Sol77.2971.884pass
#6Grok 474.4966.784pass
#7GPT-6.1 Sol72.7971.874pass
#8GPT-5.572.3971.873.1pass
#9Claude Sonnet 4.671.8970.973.1pass
#10GLM-4.664.694786.3pass
#11DeepSeek V4 Pro59.154774pass
#12GPT-o357.9245.573.1pass
#13GPT-6 Luna55.9444.669.8pass
#14Gemini 3.1 Pro55.0629.586.3pass

数据解读

今日Smoke快测中,豆包Pro代码执行98.5搭配材料约束86.3形成主榜93.01,Claude Opus 4.7则以材料约束89.3的均衡表现取得主榜92.16,GPT-6 Astra代码执行96.8但材料约束79.3,主榜88.93。Gemini 2.5 Pro材料约束86.3与代码执行75的组合获得主榜80.09,GPT-6 Sol代码执行71.8材料约束84,主榜77.29。头部模型在代码执行与材料约束的强弱搭配上呈现不同侧重。

Gemini 2.5 Pro主榜+42.3分、代码执行+75分,GPT-6 Astra主榜+24.1分、代码执行+47.5分,Grok 4主榜+24.1分、代码执行+43.2分,豆包Pro主榜+21.2分、代码执行+49.7分、材料约束-13.7分。GPT-o3主榜-20.2分、代码执行-28.3分、材料约束-10.2分。这些变化可能源于题目抽样波动,需后续run复核确认。

异常信号方面,Claude Sonnet 4.6材料约束暴跌-15.2分,GPT-o3主榜暴跌-20.2分,GPT-6 Luna材料约束暴跌-25.2分,Gemini 3.1 Pro主榜暴跌-13.7分。Qwen3 Max因数据不完整未参与排名。Smoke为小样本单日信号,以上观察需谨慎对待。

主要变化

  • Gemini 2.5 Pro:主榜上升42.3分,代码执行+75分
  • GPT-6 Astra:主榜上升24.1分,代码执行+47.5分
  • Grok 4:主榜上升24.1分,代码执行+43.2分
  • 豆包 Pro:主榜上升21.2分,代码执行+49.7分,材料约束-13.7分
  • GPT-o3:主榜下降20.2分,代码执行-28.3分,材料约束-10.2分

需要关注的信号

  • Claude Sonnet 4.6:材料约束暴跌 -15.2 分
  • GPT-o3:主榜暴跌 -20.2 分
  • GPT-6 Luna:材料约束暴跌 -25.2 分
  • Gemini 3.1 Pro:主榜暴跌 -13.7 分
  • Qwen3 Max:数据不完整(缺 execution,grounding,judgment,integrity,communication 维度,API 故障/超时),已进入自动补跑,本期不参与排名

读这类 Smoke 简报时,重点应放在两个问题上:第一,某个模型是否连续多日暴露同一类弱点;第二,诚信评级是否从 pass 进入 warn 或 fail。单日执行或约束分数的大幅变化,可能来自题目抽样,也可能是真实退化的早期信号,需要后续 run 复核。


数据来源:赢政指数 (YZ Index) | Run #436 | 查看原始数据