Gemini 3.1 Pro 材料约束跌26.6分 主榜仍升5.4分

Gemini 3.1 Pro在今日Smoke评测中材料约束得分从90.90分跌至64.30分,降幅26.6分,同时任务表达从85.00分降至66.70分。

数据事实

代码执行得分从18.40分升至50.00分,工程判断保持75.00分不变,主榜整体从51.03分升至56.44分,诚信评级维持pass。

成因分析

Smoke评测每日仅2题/维度,样本量极小,单题得分变化即可导致维度分剧烈波动。材料约束与任务表达同时回落,指向今日抽中的两道材料忠实度题目可能对模型输出边界要求更高,模型未能完全满足约束条件。代码执行的大幅回升则显示另两道代码题目难度较低或模型在该类任务上发挥稳定,两者叠加后主榜仍实现净增长。

对使用者的含义

重度依赖材料引用的RAG场景和长文档改写团队,今日结果显示Gemini 3.1 Pro在小样本下可能出现明显输出偏差,需在关键流程中增加人工校验环节。对代码生成需求为主的开发者而言,今日数据反而提供了正面信号。

战略判断

单日材料约束暴跌更可能是题目抽签波动导致,而非模型真实退化。主榜仍上升的事实表明,代码执行的增益目前大于材料约束的损失。建议下一期Smoke评测继续追踪材料约束是否回升至80分以上,若连续两日低于70分再考虑模型一致性问题。


数据来源:赢政指数 (YZ Index) | Run #237 | 查看原始数据