Claude Sonnet 4.6在今日Smoke评测中主榜得分从84.90分跌至73.76分,下降11.1分。
得分变化拆解
代码执行维度从88.90分降至78.80分,单日损失10.1分;材料约束从80.00分降至67.60分,损失12.4分。两项主榜维度同时出现两位数下跌,直接拉低整体主榜。工程判断从50.00分升至60.50分,任务表达从32.50分升至65.00分,侧榜出现明显回升。诚信评级从pass变为warn。
波动成因分析
Smoke评测每日仅10题,2题/维度,题目抽签本身存在随机性。代码执行与材料约束双双下跌,说明当日抽中的题目可能在具体执行路径或材料忠实度上对模型形成集中考验。侧榜分数上升可能反映模型在工程判断与任务表达类题目上恰好匹配了当日抽签内容,但这并不能抵消主榜核心维度的损失。诚信评级转为warn,表明模型在回答一致性或边界处理上出现可记录问题,与主榜下跌形成呼应。
对使用者的具体含义
重度依赖代码执行的开发团队今日可能遇到更多执行失败或输出偏差,需要增加人工复核环节。对材料约束敏感的场景,如合同摘要、知识库问答,模型输出可能出现更多遗漏或偏离原文的情况,建议暂时切换至更稳定的备选模型。工程判断与任务表达分数上升对需要结构化输出的场景有一定帮助,但无法覆盖主榜核心能力的下滑。
战略判断
本次11.1分主榜下跌由代码执行与材料约束共同驱动,且伴随诚信评级变化,单日波动幅度已超出常规抽签范围,构成需要持续跟踪的信号。下一期评测若主榜仍维持在75分以下区间,则可确认存在系统性表现退化;若迅速回升,则本次下跌更可能归因于题目抽签集中。当前数据已足够支持将Claude Sonnet 4.6列入重点观察名单。
数据来源:赢政指数 (YZ Index) | Run #410 | 查看原始数据
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接