R3诚信率仅30.2%:11模型三轮锚点题44次完全崩溃
v2锚点题数据显示,R1确认率99%,R2抵抗率63%,R3诚信率仅30.2%,275次测试中出现44次完全崩溃。GPT-o3与GPT-5.5在R2阶段快速失守,Grok4和Claude系列R3崩溃率控制在8%以内,展现不同模型在多轮压力下
v2锚点题数据显示,R1确认率99%,R2抵抗率63%,R3诚信率仅30.2%,275次测试中出现44次完全崩溃。GPT-o3与GPT-5.5在R2阶段快速失守,Grok4和Claude系列R3崩溃率控制在8%以内,展现不同模型在多轮压力下
Grok 4 以 91.20 分位列 WDCD 守约排行榜第一,Qwen3 Max 57.48 分垫底,头部尾部相差 33.72 分。11 个模型中满分率仅 29.1%,R3 崩溃率达 16%,v2 锚点题 R3 得分成为区分关键。
2026-07-03 Smoke 评测显示,GPT-5.5 以执行 100 分、约束 71 分拿下主榜 86.95 分首位。Claude Sonnet 4.6 紧随其后,主榜 86.12 分。豆包 Pro 则以约束 81.7 分反超执行表现
2026-07-02 Smoke 评测显示,Gemini 3.1 Pro 以主榜 82.97 分(执行 75、约束 92.7)位居第一,豆包 Pro 81.98 分紧随其后。Claude Opus 4.7 约束 97 分最高,但执行仅 58
WDCD三轮测试显示R1确认率98%、R2抵抗率77%、R3诚信率81.4%,Grok 4全程满分,GPT-5.5 R3崩溃5次,多约束场景下安全合规与数据边界约束最易失效。
Grok 4 以 WDCD 100.00 分满分排名第一,GPT-5.5 以 62.50 分垫底;R3 崩溃率 12.7%,头部与尾部差距达 37.5 分,Claude 系列本期提升显著。
豆包Pro今日Smoke评测主榜从85.91分跌至67.32分,代码执行从83.30分暴跌至44.50分,材料约束反而升至95.20分。单日10题快测中代码执行维度出现大幅波动。
赢政指数今日Smoke评测显示,Grok 4主榜从97.98分跌至82.73分,降幅15.3分,其中代码执行从100.00分骤降至68.60分。材料约束和任务表达反而上升,诚信评级维持pass。单日10题快测下,此类波动是否反映真实能力变化
2026-07-01 Smoke 轻量评测显示,Claude Opus 4.7 以 94.82 分(执行 94.5,约束 95.2)占据主榜首位,Claude Sonnet 4.6 紧随其后。Gemini 3.1 Pro 主榜暴跌 32.2
今日Smoke评测中,Claude Sonnet 4.6主榜从97.84分跌至82.52分,降幅15.3分。其中代码执行从100.00直接跌到75.00,材料约束小降3.5分,而工程判断和任务表达反而分别升10.4分和16.7分。
在赢政指数今日Smoke评测中,Claude Opus 4.7主榜从100.00分跌至84.01分,代码执行维度从100.00分暴跌至72.80分,降幅达27.2分。材料约束仅降2.3分,工程判断反而上升9.1分,诚信评级维持pass。
2026-06-30 Smoke 评测显示,Gemini 3.1 Pro 以 98.47 分(执行 100、约束 96.6)排名第一。Claude Opus 4.7 执行分暴跌 27.2 至 72.8,主榜跌 16 分;文心一言 4.5 主
MLCommons指出,AI系统与传统软件不同,其评估发现具有双重用途、无法通过补丁修复,且开放权重模型的危害会永久存在。协调漏洞披露(CVD)模式因此失效。文章分析了三大核心挑战:发现易被滥用、过度反馈会污染测试、无法集中修复模型。MLC
MLCommons Chakra 工作组于 2023 年成立,旨在解决 AI 系统快速发展带来的基准测试与软硬件协同设计难题。通过标准化执行追踪(Execution Trace),Chakra 提供了一个开放、可互操作的生态系统,支持从真实
MLCommons 正式推出 MLPerf Mobile v6.0 版本,新增针对 Android 设备运行大语言模型的生成式 AI 基准测试。该版本引入 Llama 3.2 1B、3B 及 Llama 3.1 8B Instruct 模型
MLCommons 正式发布 MLPerf Training v6.0 基准测试结果。本次更新新增 DeepSeek V3 与 GPT-OSS 20B 两项基准,突出 Mixture-of-Experts(MoE)稀疏计算架构的行业趋势。测
Novita AI 基于 SGLang 为 GLM4-MoE 模型开发了一套经过生产验证的高影响力优化方案。通过端到端性能优化策略,涵盖从内核执行效率到跨节点数据传输调度等全流程瓶颈,集成 Shared Experts Fusion 与 S
SGLang RL 团队受 Kimi K2 启发,成功落地 INT4 Quantization-Aware Training (QAT) 端到端方案。通过训练阶段的 fake quantization 与推理阶段 W4A16 真实量化结合,
在智能体强化学习中,rollout并非单次生成,而是多轮模型调用、工具输出与恢复生成的链式过程。Token-In-Token-Out(TITO)原则旨在消除训练与推理间的关键不匹配,确保训练器评估的token序列与推理引擎实际产生和消费的序
SGLang 与 AMD 团队合作,通过 MoRI 通信库在 AMD Instinct MI355X GPU 上实现大规模 DeepSeek-R1 推理的竞争性 TCO。在 129 tok/s/user 交互性下,MI355X 每百万 to