GPT-o3代码执行暴跌24.7分 主榜跌至78.13 Smoke评测异常需关注
GPT-o3今日Smoke评测代码执行从94.50分跌至69.80分(-24.7),主榜从86.04分降至78.13分(-7.9)。材料约束反升12.6分至88.30,工程判断跌22.2分。单日10题快测下,此波动幅度超出常规,需判断是抽签
GPT-o3今日Smoke评测代码执行从94.50分跌至69.80分(-24.7),主榜从86.04分降至78.13分(-7.9)。材料约束反升12.6分至88.30,工程判断跌22.2分。单日10题快测下,此波动幅度超出常规,需判断是抽签
在赢政指数2026年6月Smoke评测中,Claude Sonnet 4.6主榜从96.45分跌至70.52分,代码执行维度从100.00直接腰斩至50.00。材料约束反而小幅上升3.5分,工程判断保持满分,诚信评级维持pass。
文心一言4.5今日Smoke评测主榜从93.25分跌至71.02分,暴跌22.2分。代码执行维度从94.10分直接跌至50.00分,材料约束小涨至96.70分。单日10题快测中,代码执行表现出现显著异常。
Claude 3.5 Sonnet最新评测显示稳定性得分从54.2分骤降至31.2分,降幅高达42%。深入分析发现,模型在处理复杂任务时出现明显的性能波动,但同时在编程等其他维度却有显著提升,呈现出不均衡的优化特征。