Claude Sonnet 4.6 Smoke评测主榜暴跌11.7分 材料约束单日腰斩19.9

Claude Sonnet 4.6在今日Smoke评测中主榜得分从82.31分跌至70.61分,降幅11.7分。

得分拆解:材料约束主导跌幅

主榜仅由代码执行与材料约束加权构成。今日代码执行从99.50分降至94.50分,降5分;材料约束从61.30分降至41.40分,降19.9分。材料约束单项跌幅占主榜总跌幅的绝大部分,直接拉低整体排名。

工程判断从60.80分升至75.00分,任务表达维持37.50分不变。诚信评级保持pass。

成因分析:抽签波动还是真实退化

Smoke评测每日仅10题,每维度2题。材料约束单日19.9分跌幅在小样本下可能由题目抽签导致,也可能反映模型对材料忠实度的处理出现系统性偏差。代码执行仅降5分,幅度在正常波动范围内。工程判断反向上升14.2分,说明模型在侧榜任务上的表现并未同步下滑。

当前数据无法区分一次性抽签异常与真实能力退化。材料约束题目若涉及长文本引用或指令冲突,单题失误即可造成较大分数波动。

对使用者的含义

重度依赖材料约束的场景受影响最大。需要模型严格遵循上传文档或指令的企业RAG系统、合同审查工具、知识库问答应用,应立即增加人工校验环节。代码执行场景受影响较小,日常脚本生成与调试仍可继续使用。

对开发者而言,工程判断上升显示模型在架构设计类任务上仍有余力,可在混合工作流中保留该模型处理侧榜任务。

战略判断

材料约束19.9分单日跌幅超出正常抽签区间,构成需要下期验证的信号。若明日材料约束分数回升至55分以上,则本次下跌更可能归因于题目波动;若持续低于45分,则需考虑模型真实退化。

目前仅一期数据,不支持“连续退化”结论。建议将Claude Sonnet 4.6的材料约束表现列入每日跟踪清单,连续三期观察后再做选型调整。


数据来源:赢政指数 (YZ Index) | Run #426 | 查看原始数据