Grok 4材料约束暴跌17.4分 代码执行反升7.9分 Smoke评测主榜降3.5

在今日Smoke评测中,Grok 4的材料约束得分从75.00分降至57.60分,下降17.4分,而代码执行从74.40分升至82.30分,主榜整体从74.67分降至71.19分。

得分对比与核心事实

昨日到今日的具体变化如下:代码执行74.40分→82.30分(+7.9分),材料约束75.00分→57.60分(-17.4分),工程判断62.00分→55.60分(-6.4分),任务表达77.90分→85.00分(+7.1分),主榜74.67分→71.19分(-3.5分)。诚信评级维持pass。

材料约束暴跌的可能成因

Smoke评测每日仅10题,2题/维度,单日分数波动属于正常范围。材料约束维度主要考核模型对给定材料的忠实度与约束遵守。今日57.60分较昨日75.00分下降17.4分,最可能源于抽签题目中出现更高比例的严格材料约束题型。代码执行同时上升7.9分,显示模型在代码相关任务上的表现并未同步退化,因此本次材料约束下滑更接近题目抽签波动,而非模型真实能力退化。

对使用者的具体含义

对重度依赖材料忠实度的企业场景,例如合同审查、政策解读、内部文档问答,Grok 4今日表现提示需增加人工复核环节。代码执行得分升至82.30分,对以代码生成和调试为主的开发者团队而言,今日数据反而显示可用性提升。工程判断降至55.60分,对需要复杂决策链的场景,建议暂时降低依赖权重。

战略判断

基于单日数据,主榜下滑3.5分主要由材料约束拖累。材料约束与代码执行呈现明显反向波动,说明模型在不同维度上的稳定性存在差异。稳定性维度衡量的是多次回答同类题目的分数标准差,今日材料约束的大幅波动可能推高该维度的标准差,降低整体一致性评分。是否需要持续关注,取决于下期评测中材料约束能否回升至70分以上区间。若连续两日材料约束保持在60分以下,则可判定为需要重点跟踪的信号。

本次评测再次印证Smoke测试适合捕捉短期异常,但不宜直接等同长期能力排序。Grok 4在任务表达维度升至85.00分,显示其在任务拆解与表达清晰度上仍有优势。企业选型时,可将材料约束57.60分作为重材料场景的即时参考值,而非最终结论。


数据来源:赢政指数 (YZ Index) | Run #401 | 查看原始数据