GLM-4.6材料约束暴跌25分 代码执行反升50分 Smoke测试主榜逆涨

GLM-4.6在今日Smoke评测中,材料约束得分从昨日50.00分降至25.00分,降幅达到25分,而代码执行得分从25.00分升至75.00分,主榜得分从36.25分升至52.50分。

得分对比与波动幅度

昨日到今日的具体变化为:代码执行+50分,材料约束-25分,工程判断从94.50分降至75.00分,任务表达从50.00分升至75.00分。主榜整体上行16.3分,诚信评级维持warn。

题目抽签波动还是模型真实退化

Smoke评测每日仅10题,每维度2题,单日标准差天然较大。材料约束与代码执行出现方向相反的50分级跳变,最可能源于题目抽签差异。材料约束题目可能抽中需要严格引用原文或格式限制的案例,而代码执行题目则抽中相对简单的算法实现题。工程判断同时下滑19.5分,提示当日题目可能在多维度同时偏向需要严谨推理或材料忠实度的方向。

若为模型真实退化,通常会在连续多日同一维度出现系统性下滑,而非单日出现极端反向波动。目前仅单日数据,无法确认退化。

对使用者的具体含义

重度依赖材料约束的场景,例如法律合同抽取、学术引用核对、产品规格书对齐,GLM-4.6今日25.00分表现意味着单次回答中出现遗漏或改写原文的风险上升。开发者在这些场景下需增加人工校验环节或切换至材料约束得分更高的模型。

代码执行得分75.00分的模型,对算法题、数据处理脚本生成、简单自动化任务的可用性有所提升。工程判断75.00分则提示在系统设计评审、架构权衡类任务中,模型输出一致性可能低于昨日水平。

战略判断

基于单日数据,材料约束25.00分与工程判断75.00分构成的组合更可能是抽签波动,而非模型能力退化。主榜52.50分的上行主要由代码执行拉动,不改变材料约束低分的信号。建议下一期Smoke评测重点追踪材料约束是否回升至40分以上;若连续两日维持25分左右,则需启动更长周期的专项测试。

对选型团队而言,当前数据不支持将GLM-4.6作为材料忠实度敏感任务的首选模型。稳定性维度31.7分已显示该模型在同类题目上分数波动较大,单日材料约束暴跌进一步印证了这一点。


数据来源:赢政指数 (YZ Index) | Run #226 | 查看原始数据