GLM-4.6 Smoke评测代码执行19.50分 材料约束全缺本期不排名

GLM-4.6在今日Smoke评测中出现数据不完整情况,grounding和judgment两个维度缺失,API故障或超时导致该模型已进入自动补跑流程,本期不参与主榜排名。

得分对比数据

昨日至今日,代码执行维度从无数据变为19.50分,材料约束维度仍为缺失,工程判断维度缺失,任务表达维度达到50.00分,主榜整体无得分。

数据事实梳理

Smoke评测每日仅10题,2题对应一个维度,单日波动属于正常范围。GLM-4.6本次仅代码执行与任务表达两个维度有数值,其余维度因API问题无法获取,导致主榜无法计算。

成因分析

题目抽签波动可能造成部分维度得分偏低,但本次grounding与judgment维度完全缺失,更可能源于API调用超时或服务端响应异常,而非模型本身能力退化。任务表达维度获得50.00分,显示模型在该侧榜任务上仍有输出能力。

对使用者的含义

重代码执行的团队在依赖GLM-4.6时需注意本次19.50分的低分表现,可能影响代码生成类应用的稳定性评估。对材料忠实度敏感的场景,因grounding维度缺失,本次数据无法提供参考价值。

开发者若计划在生产环境集成GLM-4.6,应等待自动补跑后的完整维度结果,避免仅依据单一维度19.50分或50.00分做出选型决定。

战略判断

基于现有得分对比,GLM-4.6本次异常主要由API故障引起,而非模型真实退化,值得下期验证补跑后的完整分数是否恢复。当前数据不足以判断其在主榜的真实排名位置。

Smoke评测单日波动正常,但维度缺失导致主榜缺席的情况需持续跟踪,以便区分偶然API问题与潜在能力变化。

企业选型时应优先参考补跑后的多维度数据,19.50分与50.00分仅作为本次异常记录,不宜直接用于长期能力评估。


数据来源:赢政指数 (YZ Index) | Run #378 | 查看原始数据