GPT-o3以83.94分居首:2026-09-03 Smoke快测数据简报
2026-09-03 赢政指数 Smoke 快测覆盖 11 个模型,GPT-o3 以 83.94 分位居当日首位。Smoke 为每日 10 题快测,适合观察短期信号,不等同 Full 周榜结论。
2026-09-03 赢政指数 Smoke 快测覆盖 11 个模型,GPT-o3 以 83.94 分位居当日首位。Smoke 为每日 10 题快测,适合观察短期信号,不等同 Full 周榜结论。
Gemini 3.1 Pro以97.70分登顶WDCD,Gemini 2.5 Pro单期上升22.2分,Claude Sonnet 4.6成为唯一下降模型(-13分)。5升1降格局下,守约生存与约束记忆分化明显,企业生产接入需优先高分模型。
安全合规场景全体得分最低,qwen3-max仅2/4,deepseek-v4-pro仅2.5/4;数据边界多模型4/4;deepseek-v4-pro业务规则4/4却安全合规2.5/4,差距1.5分。企业接入生产流程时需按场景加护栏。
WDCD v3.1试点中,8道v2锚点题显示R1确认率100%、R2抵抗率73%、R3诚信率72.7%,110次采样中3次R3完全崩溃。GLM-4.6、DeepSeek V4 Pro、Qwen3 Max在安全合规多约束场景下先确认后崩盘,G
Gemini 3.1 Pro以97.70分位居WDCD v3.1守约榜首位,Qwen3 Max 70.30分垫底,11模型中满分率68.2%,R3崩溃率仅2.7%。头部与尾部在R3施压阶段差距达2.00分,生产接入需重点关注安全合规场景。
2026-09-02 赢政指数 Smoke 快测覆盖 11 个模型,豆包 Pro 以 95.91 分位居当日首位。Smoke 为每日 10 题快测,适合观察短期信号,不等同 Full 周榜结论。
今日Smoke评测中GPT-5.5代码执行从94.50跌至69.50,材料约束从76.00升至100.00,主榜从86.18降至83.23。单日10题快测下,执行维度暴跌与约束维度暴涨形成对冲,需区分抽签波动与真实退化。
Grok 4今日Smoke评测代码执行从94.50分跌至72.70分,材料约束升至100.00分,主榜下滑4.2分至84.99分。工程判断与任务表达均有提升,诚信评级维持pass。分析显示小样本题目抽签是主要波动来源。
2026-09-01 赢政指数 Smoke 快测覆盖 11 个模型,GPT-o3 以 96.98 分位居当日首位。Smoke 为每日 10 题快测,适合观察短期信号,不等同 Full 周榜结论。
2026-08-31 赢政指数 Smoke 快测覆盖 11 个模型,Grok 4 以 89.15 分位居当日首位。Smoke 为每日 10 题快测,适合观察短期信号,不等同 Full 周榜结论。
Gemini 3.1 Pro今日Smoke评测主榜从96.60分跌至85.83分,降幅10.8分。其中材料约束从93.30分跌至78.90分,工程判断(侧榜,AI辅助评估)从75.00分跌至50.00分。代码执行降7.8分,任务表达升6.7
Grok 4今日Smoke评测主榜从96.99分跌至88.14分,代码执行下降9.3分至90.70,材料约束下降8.3分至85.00。工程判断小幅回升5.5分,诚信评级维持pass。单日10题测试下,此类波动需区分题目抽签与真实能力变化。
2026-08-24至2026-08-30 Smoke数据中,Claude Opus 4.7从82.98分升至93.08分(趋势+10.1),Gemini 3.1 Pro从96.98分跌至85.83分(趋势-11.2)。Grok 4均值90
2026-08-30 赢政指数 Smoke 快测覆盖 11 个模型,Claude Opus 4.7 以 93.08 分位居当日首位。Smoke 为每日 10 题快测,适合观察短期信号,不等同 Full 周榜结论。
MLCommons 推出首个端到端检索增强生成(RAG)推理基准,涵盖文档摄取与多跳问答全流程。该基准采用 FRAMES 数据集,包含 824 个多跳查询和 2515 篇维基百科文章,支持从实时检索文档生成答案,有效降低幻觉并利用私有知识。
随着AI在金融、医疗等敏感领域的广泛部署,企业迫切需要了解模型在其特定数据和用例下的可靠性和安全性。然而,传统评估方式难以兼顾数据隐私、模型权重保护以及基准完整性。MLCommons携手Google DeepMind、OpenMined与A
今日Smoke评测中,Claude Sonnet 4.6代码执行从97.00降至75.00(-22),材料约束从67.60升至93.30(+25.7),主榜从83.77微降至83.24。仅2题/维度的快测下,单日大幅波动源于题目抽签差异,而
Claude Opus 4.7今日Smoke评测主榜从93.54分跌至83.24分,代码执行从97.00分骤降至75.00分,材料约束反而升至93.30分。单日10题测试下,代码执行维度波动最大,需区分抽签因素与真实能力变化。
2026-08-29 赢政指数 Smoke 快测覆盖 11 个模型,Grok 4 以 96.99 分位居当日首位。Smoke 为每日 10 题快测,适合观察短期信号,不等同 Full 周榜结论。
本文深入探讨1.6万亿参数MoE模型DeepSeek-V4-Pro在H20 GPU上的高效服务方案。通过硬件角色分配、Humming MXFP4AFP8量化及Online C128技术,结合PP2/PP4预填充与低延迟/高吞吐解码配置,显著