豆包Pro在今日Smoke评测中,材料约束得分从87.90分跌至72.60分,降幅达到15.3分,直接导致主榜从89.44分下滑至85.09分。
核心数据对比
代码执行从90.70分升至95.30分,涨幅4.6分;工程判断保持100.00分不变;任务表达从91.70分升至100.00分,涨幅8.3分;诚信评级维持pass。
分数变化的机制分析
Smoke评测每日仅2题/维度,单题失误即可造成大幅波动。材料约束维度此次跌幅最大,说明模型在回答中出现明显偏离给定材料的情况。代码执行维度同时提升,表明模型在编程任务上的表现并未同步退化,指向问题集中在材料忠实度而非整体能力。
材料约束72.60分 vs 昨日87.90分,单日变化幅度超出代码执行的正常波动范围。
对使用者的具体含义
依赖材料约束的场景需提高警惕。需要严格引用文档、合同或知识库的企业RAG系统,当前版本可能产生更多幻觉或偏离原文内容。重代码执行的开发者团队可继续使用,95.30分表现优于昨日。
- 材料敏感场景:建议增加人工校验环节
- 代码为主场景:可保持现有集成
战略判断
本次材料约束的15.3分跌幅已超过Smoke评测的常规抽签波动区间,值得下一期持续观察。工程判断维持满分,说明模型基础能力未崩,但材料约束的异常需要通过连续多日数据确认是否为真实退化。
主榜85.09分仍处于可用区间,但对材料约束敏感的团队应暂时降低优先级,等待后续评测结果。
数据来源:赢政指数 (YZ Index) | Run #381 | 查看原始数据
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接