Grok 4 Smoke评测主榜暴跌17.5分 材料约束单日跌21.9

Grok 4在今日Smoke评测中主榜得分从昨日94.15分跌至76.65分,降幅达到17.5分。

得分明细与直接对比

代码执行维度从100.00分降至86.10分,降幅13.9分;材料约束维度从87.00分降至65.10分,降幅21.9分;工程判断从88.90分降至75.00分;任务表达从100.00分降至70.00分。诚信评级维持pass。

数据事实拆解

Smoke评测每日固定10题,每维度2题。主榜仅由代码执行与材料约束加权构成,今日两维度合计贡献了-17.5分的全部降幅。材料约束单日跌幅最大,说明今日抽中的2道材料约束题目得分显著低于昨日对应题目。

成因分析:抽签波动还是真实退化

单日10题抽签的随机性是首要可能原因。Smoke评测题目每日更换,材料约束题目对引用准确性与约束遵守要求严格,2道题目的难度或陷阱分布差异即可造成20分以上波动。代码执行跌13.9分同样符合小样本方差特征。当前数据未显示连续多日同维度持续下跌,因此无法确认模型参数层面出现退化。

对使用者的具体含义

重度依赖材料约束的RAG系统与合规审查场景需提高警惕。今日65.10分意味着模型在引用忠实度上出现明显失误,开发者应在关键流程中增加人工校验环节。代码执行场景受影响相对较小,但86.10分仍低于昨日满分,自动化测试脚本需保留回退机制。

战略判断

基于单日数据,Grok 4本次得分下跌更可能源于题目抽签而非模型能力退化。建议下一期Smoke评测结果出来后对比材料约束与代码执行两维度是否回升,若连续两日材料约束均低于75分,再考虑模型真实稳定性出现问题。目前无需立即下调Grok 4在选型排序中的优先级,但需把单日波动风险纳入监控清单。


数据来源:赢政指数 (YZ Index) | Run #235 | 查看原始数据