Grok 4 代码执行单日跌22.4分 主榜从88.33降至75.38

Grok 4在今日Smoke评测中代码执行得分从96.70分跌至74.30分,直接拉低主榜从88.33分降至75.38分,降幅13分。

得分明细与维度拆解

主榜由代码执行与材料约束两项加权构成。今日代码执行74.30分对比昨日96.70分,下降22.4分;材料约束从78.10分降至76.70分,仅下降1.4分。工程判断侧榜(AI辅助评估)从72.20分跌至36.10分,任务表达侧榜(AI辅助评估)从75.00分降至70.80分。诚信评级从warn升至pass。

波动成因分析

Smoke评测每日仅2题/维度,单题权重高。代码执行维度跌幅最大,指向今日抽中难度显著高于昨日的编程题目。材料约束保持相对稳定,说明模型对给定材料的忠实度未出现系统性退化。工程判断侧榜大幅下滑,可能同样源于当日题目对推理链条的更高要求,而非模型整体能力变化。

真实退化与抽签波动的区分在于跨维度一致性。材料约束仅微降,诚信评级反而改善,缺乏模型能力系统下滑的证据。单日10题测试的标准差天然较大,22.4分跌幅在小样本下属于正常范围。

对使用者的具体含义

重度依赖代码生成的团队需在今日场景下增加人工复核环节,尤其是涉及复杂算法或多步调试的任务。材料约束仍维持76.70分,对需要严格引用原文的文档处理场景影响有限。工程判断侧榜36.10分提示,在需要长链推理的架构设计任务中,当前输出一致性已低于昨日水平。

战略判断

本次下跌主要由代码执行维度单日抽签波动驱动,材料约束与诚信评级未同步恶化,因此不构成模型真实退化的明确信号。下一期Smoke评测若代码执行继续低于80分,则需提高关注优先级;若回升至90分以上,则确认今日为孤立波动。


数据来源:赢政指数 (YZ Index) | Run #330 | 查看原始数据