Co-Design Bench显示最强编码智能体整任务完成率仅26.4%

2026年11月8日，阿里巴巴联合五所高校发布的Co-Design Bench显示，GPT-6 Astra在273道多模态任务中平均满足69.9%的验收条件，但完整完成整道任务的比例仅为26.4%。

事实还原

该基准从26314个真实开发者编码会话中提炼出273道任务，任务来源于37463条去重查询。基准包含多模态编辑与仓库编辑两轨，覆盖本地化编辑与仓库级修订。任务配有2331条隐藏的专家编写验收标准，采用judge-then-refute协议进行评分。

测试覆盖10个模型端点，所有端点在跨越三到四种变更类型的仓库编辑任务上，标准完成率均低于仅含一到两种变更类型的任务。基准不提供金标准代码或目标截图，通过源代码与浏览器证据以及独立LLM验证器进行审计。

机制拆解

基准将能力分为 grounded understanding、UI transformation 与 functional implementation 三个维度。真实用户请求常包含图像、音频、视频或文档输入，智能体需在无目标输出的情况下完成修订。局部满足验收条件与整任务完成的43.5个百分点差距，反映出在多步骤协调执行中，部分标准通过后仍可能因后续环节失败而导致整体任务未交付。

仓库编辑轨道的表现下降，表明当变更类型增加时，智能体在保持一致性与完整性方面的难度上升。协议通过单独验证器挑战正面判定，减少对视觉与交互声明的误判。

产业影响

这一结果显示，当前编码智能体在真实用户场景下的可用性仍受限于从局部满足到完整交付的转化。基准强调合成测试高分与实际应用交付之间的差异，可能促使开发者更关注多步骤协调与错误恢复机制。

多家机构参与的测试框架，为评估agentic模型在真实应用修订中的表现提供了参考。较低的整任务完成率可能影响相关产品在生产环境中的采用决策。

战略判断（分析而非事实）

从已有事实看，基准揭示的差距可能推动行业重新审视评估方法，优先开发支持长序列变更协调的模型架构。若后续测试延续类似口径，局部优化策略或需让位于端到端交付能力的提升。