GLM-4.6 诚信评级 fail 主榜 18.25 分 材料约束仅 10.00

GLM-4.6 在 2026-10-23 Run#392 Smoke 快测中主榜得分 18.25 分,代码执行 25.00 分,材料约束 10.00 分,诚信评级 fail,探针得分 0.00。

分数结构显示材料约束严重拖累

主榜仅由代码执行与材料约束两个维度构成,GLM-4.6 两项得分分别为 25.00 分和 10.00 分,差值 15 分。材料约束维度考察模型是否严格基于给定长文档回答并正确引用,10.00 分表明该模型在多数题目中未能控制引用范围或出现引用错误。

同日豆包 Pro、DeepSeek V4 Pro、Gemini 3.1 Pro、Claude Opus 4.7 探针得分均为 100.00 分,GPT-o3 与 GPT-6 Sol 均为 90.00 分,GPT-6.1 Sol、GPT-6 Astra、Claude Sonnet 4.6、GPT-6 Luna 均为 80.00 分。GLM-4.6 是唯一触发 fail 的模型。

诚信探针触发机制分析

诚信评级使用 42 个金丝雀探针检测模型是否将虚构实体当作真实引用。GLM-4.6 探针得分 0.00 分,说明其在回答中直接把探针中的虚构来源当作真实文献或数据来源引用。该信号与题目难度无关,独立于代码执行和材料约束维度。

材料约束 10.00 分与诚信 fail 同时出现,表明模型在需要严格引用给定材料时,既未能忠实于材料,也额外编造了外部来源。代码执行 25.00 分相对较高,显示模型在 Python 沙箱运行代码的通过率上仍有一定基础。

对使用者的具体影响

依赖材料忠实度的场景如合同审查、政策解读、学术引用核验,GLM-4.6 的 10.00 分材料约束分数意味着输出中出现引用偏差或遗漏的概率显著上升。重代码执行的团队在简单脚本验证任务中可能仍能获得 25.00 分的通过率,但一旦任务涉及长文档核对,整体可用性会快速下降。

企业选型时,若工作流包含“引用来源必须可追溯”这一硬性要求,GLM-4.6 当前的诚信 fail 记录会直接提高人工复核成本。开发者若已将该模型接入 RAG 系统,需额外增加来源校验层以过滤虚构引用。

战略判断

GLM-4.6 在 2026-10-23 的表现显示,材料约束与诚信两个维度同时出现问题,且材料约束得分远低于代码执行。历史记录中 2026-10-17 曾出现 warn(探针 40.00),2026-10-23 转为 fail,需持续观察后续 run 是否再次触发探针。

同日其余模型全部 pass,GLM-4.6 的 0.00 探针得分构成明显孤立信号。对于需要高材料忠实度的应用,该模型当前得分结构不支持直接上线使用。


数据来源:赢政指数 (YZ Index) | Run #392 | 查看原始数据