豆包 Pro 在今日 Smoke 评测中主榜从86.25分跌至71.22分,代码执行维度从75.00分降至58.30分,材料约束从100.00分降至87.00分。
得分变化数据拆解
代码执行维度单日损失16.7分,材料约束损失13分,两者共同拉低主榜15.03分。工程判断侧榜从100.00分跌至50.00分,任务表达侧榜则小幅上升3.3分至95.00分。诚信评级维持pass。
波动成因分析
Smoke 评测每日仅2题/维度,单题得分权重高。代码执行维度从75分跌至58.3分,最可能源于抽中难度更高的代码题目或模型在特定约束下输出错误。材料约束从满分跌至87分,说明至少一题出现材料偏离。工程判断侧榜50分的大幅下滑同样指向题目抽签带来的随机性,而非模型参数级退化。
任务表达侧榜反而上升,显示模型在表达类任务上本次抽签表现稳定。整体波动符合每日10题快测的统计特征,但连续两个核心维度同时下探,超出典型单题误差范围。
对使用者的具体含义
重度依赖代码生成的团队今日需对豆包 Pro 输出进行额外验证,58.3分水平意味着约41.7%的代码执行任务可能出现错误。材料忠实度敏感的场景(如合同抽取、报告生成)也应增加人工复核环节,87分对应13%的材料偏离风险。
工程判断侧榜50分提示该模型在需要多步推理与权衡的场景中本次表现不稳定,依赖其做架构或方案判断的开发者应切换至其他模型或增加人工校验。
战略判断
本次15分主榜下跌主要由题目抽签波动驱动,尚未构成模型真实退化的充分证据。但工程判断侧榜50分与代码执行16.7分同步下滑,信号强度已超过正常单日波动,值得下一期Smoke 评测重点验证一致性。若下期代码执行与材料约束同时回升至80分以上,则本次为随机事件;若持续低于70分,则需重新评估豆包 Pro 在代码与材料双高要求场景中的适用性。
数据来源:赢政指数 (YZ Index) | Run #234 | 查看原始数据
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接