GPT-o3 材料约束暴跌16.8分,任务表达同步掉28.3分

GPT-o3在今日Smoke评测中材料约束得分66.80分,较昨日83.60分下降16.8分,主榜总分从83.44分降至80.39分。

得分变化细节

代码执行从83.30分升至91.50分,工程判断维持75.00分不变,任务表达从95.00分降至66.70分,诚信评级保持pass。

可能成因分析

Smoke评测每日仅10题,单题权重高,材料约束与任务表达同时出现大幅回落,最可能源于题目抽签带来的内容分布变化,而非模型能力结构性退化。代码执行得分上升8.2分,显示模型在该维度上仍能稳定输出,两个维度反向运动进一步支持波动源于样本而非整体退化。

对使用者的含义

重度依赖材料忠实度的场景,例如合同条款提取、政策条文核对,需在调用GPT-o3前增加人工复核环节。代码执行表现提升,对算法验证、数据处理类任务的开发者影响较小,可继续使用但仍需关注跨维度一致性。

战略判断

本次材料约束与任务表达的同步下滑,结合Smoke评测小样本特性,当前信号不足以判定模型真实能力下降,建议下一期评测重点观察两维度是否持续低于75分。若单日波动在后续测试中重复出现,则需将GPT-o3从材料敏感任务的首选名单中移除。


数据来源:赢政指数 (YZ Index) | Run #222 | 查看原始数据