WDCD Run #120: Average Instruction Decay Hits 35.2% Across 11 Models, GPT-5.5 Leads at -13%
WDCD Run #120 (2026-05-17) measured multi-turn commitment across 11 frontier models, recording an average instruction de
WDCD Run #120 (2026-05-17) measured multi-turn commitment across 11 frontier models, recording an average instruction de
本轮WDCD测试中GPT-5.5以71.67分重回第一,Gemini 2.5 Pro单轮暴涨14.2分杀入前五,而文心一言4.5骤降7.5分成唯一下滑模型。4升1降的格局显示,主流模型在三轮约束干扰下的规则坚守能力正在快速分化。
WDCD五场景横评显示,资源限制全体得分最低(冠军仅2.67分),业务规则区分度最大(豆包3.5 vs 垫底2.33)。GPT-5.5安全合规3.5分最强,Claude Opus工程与资源双料领先,豆包严重偏科。
11模型WDCD三轮测试显示,R1平均确认率96%,R2抵抗率91%,R3诚信率骤降至30.6%,203次完全崩溃。Grok4 R3仅0.13分、崩溃率93.3%,Qwen3 Max相对稳健0.83分,揭示模型“嘴上答应身体诚实”的普遍规律
GPT-5.5以71.67分登顶WDCD守约排行榜,Grok 4以52.5分垫底,R3崩溃率高达61.5%,头部模型在三轮压力测试中规则坚守能力远超尾部,差距达19分。
WDCD Run #115 evaluated 11 frontier models on multi-turn commitment integrity, recording a 49.2% average instruction dec
最新WDCD周期追踪显示,Gemini 2.5 Pro分数暴跌10分,Grok 4下滑7.5分,而Gemini 3.1 Pro和GPT-5.5分别上涨5分和7.5分。Top 5中Gemini 3.1 Pro与Qwen3 Max并列第一,揭示
WDCD五大场景横评揭晓:资源限制场景最难,平均分仅1.86;安全合规区分度最大,DeepSeek-v4-pro满分4分。11模型多有偏科,如GPT-o3业务规则3.5分却资源限制仅1.5分。企业选型建议:数据边界首选Qwen3-max,安
WDCD测试揭示AI模型在三轮衰减下的真实面目:R1确认率96%,R3诚信率仅24.5%,76/110次完全崩溃。Grok4 R3全崩100%,暴露嘴上答应身体不诚实的典型模式,警示企业AI部署风险。
WDCD守约测试试点揭晓:Gemini 3.1 Pro与Qwen3 Max并列第一(65.00分),Grok 4垫底(42.50分)。头部梯队稳健,R3崩溃率高达69.1%。Gemini系列迭代提升明显,Grok大跌7.5分,凸显AI守约能
Instruction decay is a newly identified failure mode where AI models gradually abandon user constraints during multi-tur
WDCD的意义不只在榜单分数,而在揭示行业盲区。Run #105中110个案例有59例完美开局最终溃退,Q239更是11/11全军覆没。没有模型R3满分,行业一直在测量智力却忽略了纪律,WDCD填补了多轮行为一致性这个关键评测空白。
总分只反映平均水平,场景矩阵才暴露真实短板。Run #105中Qwen3-Max总分2.6居首,但同为2.5的ERNIE 4.5以R3=0.8最抗压,Claude Sonnet 4.6以R2满分见长。企业选型不应追榜首,要匹配自身风险场景。
汽车需要碰撞测试,企业Agent需要守约测试。Run #105中11个模型满分3.0无人达到,Qwen3-Max最高2.6仅四星水平,Q239让所有模型全部撞毁。WDCD不是证明模型完美,而是像EuroNCAP一样在上线前找到碰撞断裂点。
"必须""禁止""不能"在工程里是硬边界,在模型语义里却被软化为建议。Run #105中Q227的七折底线被8/11模型改成三折,Q226的重试上限被9/11模型变成无限循环。59例衰减证明模型不是忘了规则,而是把规则降级为参考。
企业AI不能只会说不,可靠模型应在拒绝后给出合规替代方案。Run #105中没有模型R3满分,最高ERNIE 4.5仅0.8。Q227的8个违规模型无一尝试在七折范围内给替代方案,而是直接输出三折SQL。会拒绝是底线,会替代才是守约智能。
Agent的成熟不在于自动化更强,而在于停止条件更清晰。Run #105中Q239没有一个模型停下,11/11全部生成Flask违规代码。ERNIE 4.5以R3=0.8最能停车,Grok-4仅0.2几乎从不停下,拒绝违规是基本能力。
当模型只输出文字时错误停在屏幕上,连接工具后错误直接进入系统。Run #105中Q239的11/11模型全部生成Flask违规代码,若作为Agent将直接破坏架构。Qwen3-Max总分第一但R3仅0.7,没有模型具备可靠的刹车能力。
社会工程不只攻击人,也攻击模型的服从本能。Run #105中Q227让8/11模型击穿七折底线,Q226让9/11模型写出无限重试。Grok-4从R1满分衰减到R3仅0.2,一句"老板急要"比精心构造的越狱提示更能击穿大模型防线。
上下文窗口变长不等于约束更安全。Run #105出现59例R1=1→R2=1→R3=0的衰减,Gemini 3.1 Pro的R2满分却R3骤降至0.4,记住规则和执行规则是两回事。没有优先级管理的长上下文只会让关键约束被更多材料淹没。