Claude Opus 4.7材料约束暴跌17.6分 代码执行却涨24.8 主榜反升5.7

Claude Opus 4.7在今日Smoke评测中,材料约束得分从昨日70.00分跌至52.40分,降幅17.6分,同时代码执行从74.30分升至99.10分,升幅24.8分,主榜整体从72.37分升至78.09分。

得分对比事实

昨日到今日的具体变化为:代码执行74.30→99.10,材料约束70.00→52.40,工程判断87.50→33.30,任务表达60.40→50.00,主榜72.37→78.09,诚信评级保持pass。

波动成因分析

Smoke评测每日仅10题,每维度2题,单日抽签波动本属正常范围。代码执行与材料约束出现24.8分与17.6分的反向剧烈变化,最可能源于当日题目抽签的偶然性,而非模型真实能力退化。工程判断出现54.2分的大幅下滑,进一步支持抽签导致的样本偏差,而非系统性退化。

对使用者的含义

重代码执行的团队可考虑短期内继续使用Claude Opus 4.7,因为该维度已达99.10分。材料约束敏感的场景,如需要严格依据给定文档生成内容的任务,则需额外人工校验,因为52.40分已低于昨日水平。

战略判断

工程判断从87.50分跌至33.30分,表明该模型在侧榜维度上表现出较高不一致性。主榜得分上升主要由代码执行单维度拉动,材料约束与工程判断的双双下滑构成潜在风险信号。下一期评测需重点验证工程判断是否恢复,否则该模型在需要综合判断的任务中可能被低估使用价值。

基于现有得分对比,Claude Opus 4.7的异常主要表现为材料约束与工程判断的同步下滑,而非整体能力崩盘。开发者在依赖其完成多步骤推理任务时,应增加中间结果检查环节。

代码执行99.10分与材料约束52.40分同时出现,说明模型在不同能力轴上出现明显分化。

对选型企业而言,若当前工作流以代码生成为主,Claude Opus 4.7今日表现仍具竞争力;若工作流涉及大量材料忠实度要求,则需观察后续多日数据再做决定。

诚信评级维持pass,说明模型未出现作答诚信问题,波动集中在能力维度本身。

综合全部对比数据,主榜小幅上升掩盖了侧榜维度的显著下滑,这一信号值得下期重点跟踪。


数据来源:赢政指数 (YZ Index) | Run #438 | 查看原始数据