Claude Sonnet 4.6在今日Smoke评测中,材料约束得分从昨日77.40分降至52.60分,降幅24.8分,同时代码执行从48.60分升至98.60分,升幅50分,主榜整体从61.56分升至77.90分。
得分对比与核心事实
昨日到今日的具体变化为:代码执行48.60→98.60,材料约束77.40→52.60,工程判断50.00→62.50,任务表达56.30→76.30,诚信评级维持pass。主榜净增16.3分,主要由代码执行的大幅提升驱动。
可能成因分析
Smoke评测每日仅10题,2题 per 维度,单日波动属于正常范围。材料约束暴跌与代码执行暴涨同时出现,最可能的原因是题目抽签的随机性:今日抽到的材料约束题目可能对忠实度要求更高,而代码执行题目相对简单或匹配模型当前优势。另一种可能是模型在材料处理环节出现临时不稳定,但工程判断和任务表达均有提升,说明整体回答框架未崩。
由于没有连续多日同类题目的重复测试数据,无法区分题目波动与真实退化。单日24.8分降幅在10题快测中属于极端值,但代码执行的反向50分涨幅同样极端,指向抽签影响概率更高。
对使用者的具体含义
重材料约束场景的团队,例如需要严格依据给定文档生成回答或避免幻觉的RAG应用,今日52.60分意味着该模型在忠实度上出现明显短板,建议临时切换到材料约束得分更高的模型或增加人工校验环节。
依赖代码执行的开发者则可利用今日98.60分优势,处理复杂算法或调试任务时成功率可能更高。工程判断和任务表达双升,对需要结构化输出和决策辅助的场景形成正面影响。
战略判断
材料约束维度是主榜两大可审计核心之一,单日24.8分跌幅已超出常规波动区间,值得下期继续追踪。若明日材料约束回升,则基本可判定为题目抽签导致;若持续低位,则需考虑模型真实退化风险。当前主榜77.90分被代码执行拉高,材料约束的短板已被部分掩盖,使用者选型时应单独查看该维度而非仅看主榜。
诚信评级维持pass,说明回答未出现系统性造假或拒绝问题,数据可信度未受影响。稳定性维度未提供本次具体数值,但单日极端波动已显示一致性可能较低,依赖稳定输出的生产环境需额外验证。
数据来源:赢政指数 (YZ Index) | Run #439 | 查看原始数据
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接