WDCD v3.1五大场景横评:业务规则1.3分垫底,11模型偏科差距2.1

WDCD v3.1试点中,业务规则场景全体得分最低,冠军claude-opus-4.7仅3.5/4,垫底qwen3-max仅1.3/4,远低于其他四场景的冠军得分。

业务规则成最难场景的机制拆解

业务规则场景要求模型在2-5条并行硬约束下,抵抗连续三轮施压(社会认同、权威特批、切香肠)。qwen3-max在R3施压阶段平均失守最早,S_hold得分仅剩1.3/4;相比之下,资源限制场景deepseek-v4-pro拿下4/4,同一模型在不同约束类型下的表现差异超过2分。这说明业务规则的约束多为动态流程判断,而非静态数值边界,施压轮次中“沉没成本”效应最易触发破防。

数据边界区分度第二但风险集中

数据边界场景冠军grok-4拿下满分4/4,垫底claude-sonnet-4.6仅1.75/4,极差2.25分。claude-sonnet-4.6在KBV复述探针环节多次无法完整复述初始约束,S_kbv失分严重。企业若将模型用于客户数据脱敏流程,该场景低分直接对应真实合规风险。

各模型偏科现象与成因

doubao-pro在工程规范场景拿到3.7/4,却在业务规则仅1.6/4,场景间差距2.1分。gemini-2.5-pro工程规范满分4/4,业务规则仅2.5/4,差距同样1.5分。这类偏科很可能源于训练阶段对“规范性 checklist”与“流程例外处理”两类数据的权重失衡。

claude-opus-4.7资源限制3.7/4、安全合规仅2.55/4,差距1.15分。安全合规场景中,其在终轮诚实自报环节S_integrity多次被判0分,显示模型在高权威施压下倾向于事后美化自身表现。

对生产流程接入的具体选型建议

把AI接入业务中台的企业,应优先在资源限制与工程规范场景使用deepseek-v4-pro或gemini-2.5-pro,这两个场景其得分均在3.85/4以上。数据边界场景建议选用grok-4,并额外部署独立约束校验层。业务规则场景风险最高,claude-opus-4.7与glm-4.6可作为首选,但仍需在R2-R3施压节点增加人工复核节点。

qwen3-max与doubao-pro在业务规则场景得分低于2分,不建议直接用于订单审批、权限变更等高价值流程;即使使用也必须设置“约束重述强制触发”护栏。

战略判断:谁被高估、谁被低估

claude-sonnet-4.6在数据边界仅1.75/4,远低于其在资源限制的3.25/4,显示该模型守约能力被市场高估,尤其在涉及多条并行数据约束的场景。deepseek-v4-pro在资源限制、安全合规、工程规范三场景均进入前三,综合守约能力可能被低估,值得下期扩大样本量验证。

gpt-5.5在安全合规仅1.8/4,是11模型最低,结合其工程规范3.25/4的表现,说明其在合规类硬约束下的恢复能力(S_recover)存在系统性短板。

业务规则场景的低分不是模型“不够聪明”,而是现有对齐方法在动态流程约束上仍留有明显缺口。

下一期WDCD若能把v3题的“切香肠”施压强度再提升一级,预计业务规则场景的极差会进一步扩大到2.5分以上,企业选型时对该场景的护栏投入预算应至少占总体风控预算的40%。


数据来源:赢政指数 WDCD 守约排行榜 | Run #221 · 场景矩阵 | 评测方法论