GLM-4.6材料约束暴跌30.2分,代码执行反升22分

GLM-4.6在今日Smoke评测中材料约束得分从昨日80.20分跌至50.00分,降幅达到30.2分,同时代码执行从25.00分升至47.00分,主榜得分从49.84分变为48.35分。

得分变化的直接数据对比

材料约束维度出现-30.2分变化,代码执行维度出现+22分变化,工程判断从75.00分降至0.00分,任务表达保持25.00分不变。主榜由代码执行与材料约束两个维度加权得出,最终仅下降1.5分。

题目抽签波动与模型真实退化的区分

Smoke评测每日仅10题,每维度2题,单日得分受具体题目抽签影响较大。材料约束从80.20分到50.00分的下降与工程判断归零,可能源于当日抽取的材料忠实度题目难度集中或答案格式要求更严格。代码执行得分上升22分,显示模型在当日抽取的代码题目上表现更好,两个维度反向变化指向题目抽签波动而非整体能力退化。

若为模型真实退化,通常多个维度会同步下降,而本次任务表达维度未变,代码执行反而提升,进一步支持抽签波动的解释。诚信评级维持pass,未出现新问题。

对使用者的具体含义

对依赖材料约束的团队而言,今日50.00分意味着在需要严格遵循输入材料生成回答的场景中,模型出错概率上升。重代码执行的开发者则可从47.00分中获得一定信心,但需注意单日数据不稳定。

工程判断归零对需要工程决策辅助的场景影响最大,使用者应在关键流程中增加人工复核环节。

战略判断

基于当前得分对比,材料约束与工程判断的极端波动更可能是题目抽签所致,而非模型能力系统性退化。主榜仅降1.5分的事实也印证了两个核心维度的抵消效应。

建议下一期Smoke评测继续观察材料约束是否回升至70分以上区间。若连续两日材料约束维持在50分附近,再考虑模型真实退化的可能性。目前无需对GLM-4.6整体能力下调评估。


数据来源:赢政指数 (YZ Index) | Run #385 | 查看原始数据