DeepSeek V4 Pro材料约束单日跌19.5分 主榜下滑7.6分

DeepSeek V4 Pro在今日Smoke评测中材料约束得分从昨日89.50分降至70.00分,主榜整体从94.07分下滑至86.50分。

得分事实与维度拆解

代码执行从97.80分升至100.00分,工程判断保持100.00分不变,任务表达从95.80分微降至95.00分,诚信评级维持pass。材料约束-19.5分的降幅直接拉低主榜7.6分。

成因分析:抽样波动还是模型退化

Smoke评测每日仅2题/维度,材料约束单日暴跌最可能源于题目抽签难度上升。代码执行同时升至满分,说明模型整体能力未出现系统性退化,波动更接近单维度抽样差异。

材料约束70.00分 vs 昨日89.50分,差值19.5分;代码执行100.00分 vs 昨日97.80分,差值+2.2分。

若为真实退化,代码执行与工程判断通常会同步受影响,但当前数据仅材料约束异常,指向题目对材料忠实度要求的突然提高。

对使用者的具体含义

重材料约束的场景(如法律合同抽取、学术引用核对)需额外人工复核,单日70.00分水平可能导致输出偏离源材料。代码执行满分的表现对重代码调试的团队仍有参考价值。

  • 依赖材料约束的开发者应在关键任务前增加多轮验证。
  • 代码执行稳定的用户可继续使用该模型处理编程相关工作。

战略判断

材料约束单日19.5分波动已超出正常抽样范围,建议下期重点验证该维度是否持续低位。当前数据不支持模型整体退化结论,但材料约束的不稳定性值得选型团队优先关注。


数据来源:赢政指数 (YZ Index) | Run #270 | 查看原始数据