Grok 4主榜暴跌17.2分,材料约束单日崩24.8分

Grok 4在今日Smoke评测中主榜从83.51分跌至66.35分,降幅达到17.2分。

核心数据对比

代码执行维度从昨日88.50分降至77.60分,降幅10.9分;材料约束维度从77.40分降至52.60分,降幅24.8分。工程判断从42.80分升至56.00分,任务表达从93.80分升至95.00分。诚信评级由pass转为warn。

驱动因素拆解

主榜仅由代码执行与材料约束加权构成,材料约束单日下跌24.8分直接拉低主榜约12.4分,代码执行下跌贡献约5.45分,两者合计解释了本次17.2分跌幅的绝大部分。工程判断与任务表达的小幅回升未能抵消主榜损失。

本次下跌最可能源于题目抽签波动。Smoke评测每日仅10题,材料约束维度仅2题,单题失误即可造成20分以上波动。模型真实退化通常伴随多维度同步下滑,而本次工程判断与任务表达反而上升,指向题目难度或主题分布变化的可能性更高。

对使用者的具体影响

重度依赖材料约束的场景(如长文档忠实改写、引用核对、格式严格输出)将面临更高失败风险。代码执行场景的稳定性也出现下降,重代码执行的团队需增加人工复核环节。工程判断与任务表达仍保持中高位,对需要创意表达或判断类任务的开发者影响较小。

战略判断

诚信评级转为warn是本次评测中唯一需要立即关注的信号。该评级变化通常与一致性或边界行为相关,建议下一期Smoke评测重点追踪该维度是否持续。主榜17.2分跌幅在单日抽签框架下仍属可解释范围,但材料约束52.60分的绝对值已进入低位区间,值得下期继续观察以确认是否为偶然波动。

综合来看,Grok 4本次表现更接近抽签波动而非系统性退化,但诚信评级变化与材料约束绝对低分构成双重警示,使用者应在材料忠实度敏感场景下暂缓大规模部署。


数据来源:赢政指数 (YZ Index) | Run #439 | 查看原始数据