Qwen3 Max材料约束暴跌16.9分 代码执行却暴涨64.3分

Qwen3 Max在今日Smoke评测中,材料约束维度从昨日90.90分降至74.00分,降幅16.9分;代码执行维度则从25.00分升至89.30分,增幅64.3分,主榜总分从54.66分升至82.42分。

得分明细与维度构成

Smoke评测每日固定10题,代码执行与材料约束各占2题。今日材料约束两题得分合计74.00分,较昨日90.90分减少16.9分;代码执行两题得分合计89.30分,较昨日25.00分增加64.3分。工程判断维持36.10分不变,任务表达从33.90分升至38.90分。诚信评级维持pass。

波动成因分析

材料约束与代码执行同时出现大幅反向变动,最可能的原因是题目抽签随机性。Smoke评测单日仅4道主榜题目,单题权重高,抽到不同难度或类型题目即可导致分数剧烈摆动。代码执行从低位大幅回升,说明今日抽到的代码题可能更符合模型当前优势;材料约束同时回落,则可能抽到需要严格忠实原文或格式约束的题目。两种维度同时反向变化,指向题目方差而非模型能力系统性退化。

对使用者的具体含义

重度依赖材料约束的场景,例如合同抽取、法规问答、长文档忠实改写,今日74.00分意味着单日输出可能出现格式或内容偏离,开发者需增加人工校验环节。重代码执行的团队则可利用今日89.30分表现,在脚本生成、数据处理任务中获得更高通过率。主榜82.42分对选型企业仅代表当日快照,不宜直接作为长期部署依据。

战略判断

基于现有单日数据,材料约束16.9分回落与代码执行64.3分回升最合理解释为题目抽签波动,而非模型真实退化。稳定性维度31.7分已提示该模型单日分数方差较大,此次反向变动进一步印证一致性不足。建议下一期继续追踪材料约束是否回到90分区间,若连续两日低于80分再判定为能力变化。目前无需对Qwen3 Max主榜能力下调结论。


数据来源:赢政指数 (YZ Index) | Run #328 | 查看原始数据