豆包 Pro Smoke 评测数据全缺:API 故障主榜零参与

豆包 Pro 在今日 Smoke 评测中因 API 故障/超时出现 execution、grounding、judgment、integrity、communication 五维度数据完全缺失,已进入自动补跑流程,本期不参与主榜排名。

数据事实:五维度全为“-”

得分对比表显示,代码执行、材料约束、工程判断、任务表达、主榜全部从“-”到“-”,无任何数值产出。这与 Smoke 评测每日 10 题(2 题/维度)的常规流程直接冲突,表明请求在执行阶段即被中断。

成因分析:明确指向 API 层面故障

题目抽签波动通常只会导致单题得分起伏,不会造成整个维度记录为空。模型真实退化则会表现为已有分数但数值下降,而本次记录中连分数本身都不存在。系统明确标注“API 故障/超时”,这指向网络连接、认证或服务端响应超时,而非模型能力本身变化。

Smoke 评测作为每日快测,单日波动正常,但完整维度缺失属于另一类信号。它排除了“抽签运气差”或“模型突然变弱”的可能,直接指向外部调用链路中断。

对使用者的含义

重代码执行的团队在集成豆包 Pro 时,需增加 API 健康检查和重试机制,避免因单次超时导致整个 pipeline 停摆。对材料忠实度敏感的场景,开发者应在调用层设置超时阈值和备用模型切换逻辑,防止关键任务因服务不可用而中断。

依赖该模型的开发者需关注自动补跑结果,若补跑仍失败,则需评估是否调整生产环境中的超时配置或增加多区域部署。

战略判断

本次异常由 API 故障导致,与模型能力退化无关,无需对豆包 Pro 核心性能产生怀疑。下一期 Smoke 评测若补跑成功且分数恢复正常,则可确认本次事件为孤立技术问题;若补跑后仍出现类似缺失,则需验证调用链路稳定性。

基于现有得分对比,豆包 Pro 本期主榜缺席仅为技术记录问题,不构成能力评估依据。企业选型时可继续参考历史完整评测数据,同时在集成阶段强化 API 容错设计。


数据来源:赢政指数 (YZ Index) | Run #274 | 查看原始数据