AI安全不可假设可组合性：部署需独立测试
AI从业者深知部署系统与基础模型行为差异显著，但安全评估常错误假设可组合性。研究表明，微调等修改会导致安全分数不可预测地变化，正反方向均有可能。MLCommons强调需针对完整部署系统进行测试，其Candela服务提供带误差范围的可靠基准，
基准测试 相关资讯
MLCommons推出AILuminate Safety 1.2.1与Jailbreak 1.1基准
MLCommons近日发布AILuminate Safety 1.2.1和Jailbreak 1.1两项基准，开发者可通过Candela服务自测AI系统产生有害内容的风险及抗攻击能力。基准由80多家机构共识构建，覆盖12类危害场景，并采用确
Candela 发布：AI 风险基准测试即服务
MLCommons 推出 Candela 平台，为开发者和部署者提供 AI 风险与可靠性基准测试服务。该平台基于 AILuminate 基准，支持 Safety 1.2.1 和 Jailbreak 1.1 等测试，覆盖暴力犯罪、金融健康法律
MLPerf Training 推出首个 LLM 后训练基准
MLPerf Training 将从 2026 年 10 月 v6.1 提交轮次起新增 LLM 后训练基准，补充现有预训练测试。该基准采用 RLVR 方法，结合蒸馏、强化学习与监督微调，使用 Qwen 3.5 397B 模型和 R2E-Gy
用 SGLang 扩展 JEV-like 决策模型
本文探讨如何利用 SGLang 高效服务 JEV-like 决策模型。通过点式与集合式提示设计，结合 Score API 与 MIS 执行优化，显著降低多候选决策的尾延迟。基准测试显示，在 Qwen3 系列模型上，MIS 在高负载下将 p9
MLPerf v6.1征集边缘Agentic推理基准结果
MLCommons Edge LLM Taskforce宣布在MLPerf Inference v6.1中引入Edge Agentic Inference基准，聚焦设备端Agentic LLM在单边缘加速器上的工具调用准确率与单用户延迟表现
AI评估披露困境：传统补丁模式为何失效
MLCommons指出，AI系统与传统软件不同，其评估发现具有双重用途、无法通过补丁修复，且开放权重模型的危害会永久存在。协调漏洞披露（CVD）模式因此失效。文章分析了三大核心挑战：发现易被滥用、过度反馈会污染测试、无法集中修复模型。MLC
MLCommons 发布 MLPerf Mobile v6.0，新增设备端 LLM 基准
MLCommons 正式推出 MLPerf Mobile v6.0 版本，新增针对 Android 设备运行大语言模型的生成式 AI 基准测试。该版本引入 Llama 3.2 1B、3B 及 Llama 3.1 8B Instruct 模型
MLPerf Training v6.0 基准结果发布：聚焦 MoE 稀疏计算
MLCommons 正式发布 MLPerf Training v6.0 基准测试结果。本次更新新增 DeepSeek V3 与 GPT-OSS 20B 两项基准，突出 Mixture-of-Experts（MoE）稀疏计算架构的行业趋势。测
Gemini 2.5 Pro材料约束暴跌15.2分 代码执行却飙升45分
赢政指数Smoke评测显示，Gemini 2.5 Pro今日材料约束从92.50分跌至77.30分，降幅15.2分，但代码执行从55.00分升至100.00分，主榜总分反而上涨17.9分至89.79分。单日10题快测波动或为主要原因。
MLPerf Inference v6.0 新增 GPT-OSS 120B 基准与 DeepSeek-R1 低延迟交互优化
MLPerf Inference v6.0 基准发布显著扩展了对开源大语言模型（LLM）的覆盖。随着行业转向更专业化开源模型，基准测试需适应部署策略与架构变化。本轮引入两大亮点：GPT-OSS 120B 新基准，基于117B参数MoE架构，
MLPerf Inference v6.0 Edge 套件升级至 YOLO11
MLPerf Inference 基准已成为评估 AI 基础设施性能的行业标准。本次 v6.0 Edge 套件将 RetinaNet 升级为 Ultralytics YOLO11，这款现代化的单阶段目标检测模型在 COCO 数据集上 mAP
AI风险新标准：AILuminate全球保障计划重塑可靠性
人工智能行业正处于转折点，企业将AI从实验阶段推向金融、医疗和制造等关键业务时，可靠性验证成为核心障碍。MLCommons联盟（包括KPMG、Google、Microsoft和Qualcomm）推出AILuminate全球保障计划（AIL
MLCommons 为可辩护越狱基准测试奠基
随着大语言模型进入安全、合规关键环境，对抗性提示鲁棒性已成为运营必需。单轮越狱攻击持续暴露系统弱点。MLCommons 推出基于分类法的评估方法，建立可辩护、可复现的基准基础。该方法采用机制优先的单轮提示攻击分类法，确保确定性标注、一一映射
技术标准：AI大规模采用的桥梁
人工智能正从消费级聊天工具转型为驱动企业服务的通用技术，却面临可靠性壁垒。企业需确信AI系统输出正确、安全且可靠，方能广泛部署。克服此挑战依赖评估标准，将ISO/IEC等传统标准与AI的非确定性桥接。MLCommons等组织将这些目标转化为
DLRMv3：MLPerf Inference生成式推荐基准
计算规模扩展遵循神经缩放定律，已显著减少自然语言处理和计算机视觉领域的手动特征工程需求，转而依赖大规模注意力Transformer模型从数据中自动学习丰富表示。类似趋势正变革深度学习推荐系统，传统依赖MLP、GNN和嵌入表架构，如今大型序列
MLPerf Tiny v1.3基准测试结果重磅发布
MLCommons近日公布MLPerf Tiny v1.3基准测试结果，聚焦边缘设备上的高效AI推理性能。LMSYS Org等多家机构提交成果，在Image Classification、Keyword Spotting、Anomaly D
MedPerf 新增 WebUI 功能，提升隐私保护基准测试体验
MLCommons 旗下开源平台 MedPerf 近日推出 WebUI 支持，用户无需本地安装即可通过浏览器轻松运行隐私保护的机器学习基准测试。新功能集成了 SGLang 等后端，简化了模型评估流程，支持多种任务如图像分类和 NLP。Web
NVIDIA DGX Spark 深度评测：本地 AI 推理新标杆
NVIDIA DGX Spark 是一款紧凑型一体机，将超级计算级性能带入桌面工作站。通过 NVIDIA 早期访问计划，我们深入测试了这款设备。它搭载 GB10 Grace Blackwell Superchip，提供 128 GB 统一内
Mini-SGLang：轻量高效LLM推理引擎全解析
Mini-SGLang是SGLang项目的轻量版推理框架，仅用5k行Python代码，即实现了高性能LLM推理，支持Radix Attention、Chunked Prefill、Overlap Scheduling和Tensor Para