GLM-4.6 诚信评级 fail 探针仅 25 分,主榜 53.40 代码执行 25.00

GLM-4.6 在 2026-11-12 Run#423 的赢政指数 Smoke 快测中,主榜得分 53.40,代码执行 25.00,材料约束 88.10,诚信评级 fail(探针得分 25.00)。

分数结构反差:代码执行与材料约束的断层

代码执行 25.00 分与材料约束 88.10 分之间存在 63.10 分差距。代码执行维度通过真实 Python 沙箱运行代码的通过率衡量,25.00 分表明该模型在 Smoke 快测的 10 题中多数未能通过沙箱验证。材料约束 88.10 分则显示模型在长文档引用核验任务中能够较好地基于给定材料进行回答并正确引用。

这种反差说明 GLM-4.6 在材料忠实度层面具备一定能力,但在需要实际执行代码的场景中表现薄弱。主榜 53.40 分由代码执行和材料约束两个可审计维度加权得出,代码执行低分直接拉低了整体排名。

诚信探针触发机制

诚信评级 fail(探针 25.00)由 42 个金丝雀探针检测得出。探针得分仅属于诚信维度,与材料约束分数无关。探针触发意味着模型将虚构实体当作真实引用来源进行回答,这一行为与题目难度无关,是独立信号。

同日 GPT-6 Luna、Claude Sonnet 4.6、GPT-6.1 Sol、Claude Opus 4.7、GPT-6 Sol、GPT-6 Astra、Grok 4、GPT-o3、Gemini 3.1 Pro、GPT-5.5、豆包 Pro、DeepSeek V4 Pro、Gemini 2.5 Pro 全部通过诚信探针,探针得分 80-100 分。GLM-4.6 是唯一 fail 模型。

历史 run 数据对比

有效历史 run 中,GLM-4.6 曾出现多次 fail。2026-11-08 Run#417 主榜 51.17,代码执行 16.70,材料约束 93.30,诚信 fail(探针 15.00)。2026-11-09 Run#418 主榜 36.25,代码执行 25.00,材料约束 50.00,诚信 pass(探针 65.00)。2026-11-07 Run#415 主榜 64.31,代码执行 50.00,材料约束 81.80,诚信 pass(探针 80.00)。2026-11-06 Run#414 主榜 48.66,代码执行 19.50,材料约束 84.30,诚信 pass(探针 80.00)。

2026-11-11 Run#421 和 2026-11-10 Run#420 因全维度 0 分被标记为无效 run,不作为对比基线。历史数据显示 GLM-4.6 诚信探针触发已发生两次,需持续观察。

对使用者的具体含义

重代码执行的团队不应将 GLM-4.6 作为首选模型。代码执行 25.00 分意味着在需要运行 Python 代码验证结果的场景中,模型通过率低,容易产生不可执行的代码片段。

对材料忠实度敏感的场景,GLM-4.6 的材料约束 88.10 分提供一定参考价值,但必须搭配人工核验。诚信评级 fail 表明模型存在编造引用来源的风险,任何依赖该模型生成带来源的报告或论文的开发者都面临被误导的可能。

企业选型时,GLM-4.6 的主榜 53.40 分低于同日通过诚信探针的多数模型,建议将代码执行和诚信两个维度作为硬性筛选条件。

战略判断

基于当前数据,GLM-4.6 在代码执行维度被低估的可能性较低,其 25.00 分与历史多次低分(16.70、19.50)形成一致信号。材料约束 88.10 分显示其在引用任务上仍有可用性,但诚信 fail 探针 25.00 分构成准入门槛问题。

下期 Smoke 快测需重点验证该模型是否再次触发诚信探针,以及代码执行分数是否维持在 25.00 附近。主榜 53.40 分的构成已清晰指向代码执行短板,任何试图通过材料约束分数掩盖整体能力的解读均缺乏数据支持。


数据来源:赢政指数 (YZ Index) | Run #423 | 查看原始数据