AI安全不可假设可组合性：部署需独立测试
AI从业者深知部署系统与基础模型行为差异显著，但安全评估常错误假设可组合性。研究表明，微调等修改会导致安全分数不可预测地变化，正反方向均有可能。MLCommons强调需针对完整部署系统进行测试，其Candela服务提供带误差范围的可靠基准，
基准测试 相关资讯
MLCommons推出AILuminate Safety 1.2.1与Jailbreak 1.1基准
MLCommons近日发布AILuminate Safety 1.2.1和Jailbreak 1.1两项基准，开发者可通过Candela服务自测AI系统产生有害内容的风险及抗攻击能力。基准由80多家机构共识构建，覆盖12类危害场景，并采用确
Candela 发布：AI 风险基准测试即服务
MLCommons 推出 Candela 平台，为开发者和部署者提供 AI 风险与可靠性基准测试服务。该平台基于 AILuminate 基准，支持 Safety 1.2.1 和 Jailbreak 1.1 等测试，覆盖暴力犯罪、金融健康法律
Hugging Face：嵌入式评估器并非评估难题的灵丹妙药
在 TechCrunch 的对谈中，Hugging Face 首席政策官 Irene Solaiman 指出，AI 实验室赖以证明模型实力的基准测试，其方法复杂且仍在成熟，远未达到中立、准确的标准。她认为，把评估器直接嵌入 AI 产品内部看
MLPerf Training 推出首个 LLM 后训练基准
MLPerf Training 将从 2026 年 10 月 v6.1 提交轮次起新增 LLM 后训练基准，补充现有预训练测试。该基准采用 RLVR 方法，结合蒸馏、强化学习与监督微调，使用 Qwen 3.5 397B 模型和 R2E-Gy
用 SGLang 扩展 JEV-like 决策模型
本文探讨如何利用 SGLang 高效服务 JEV-like 决策模型。通过点式与集合式提示设计，结合 Score API 与 MIS 执行优化，显著降低多候选决策的尾延迟。基准测试显示，在 Qwen3 系列模型上，MIS 在高负载下将 p9
谜底揭晓：Z.ai证实神秘模型Ox Alpha来自其手，权重即将开源
8月26日，Z.ai正式确认，此前在各大基准测试中登顶的神秘开源模型Ox Alpha正是由其打造。这一消息终结了AI社区连日来的猜测。Z.ai同时宣布，Ox Alpha的模型权重即将开放下载，可供研究者自由使用和二次开发。此举被视为开源AI
OpenAI Jalapeño芯片：推理速度与能效双冠
OpenAI的Jalapeño自研推理芯片在SemiAnalysis的InferenceX基准测试中取得优秀成绩，每用户Token生成量与每千瓦吞吐量均超过当前市场上的最先进产品。该芯片针对大规模快速推理场景进行了精心优化，有望大幅降低大模
MLPerf v6.1征集边缘Agentic推理基准结果
MLCommons Edge LLM Taskforce宣布在MLPerf Inference v6.1中引入Edge Agentic Inference基准，聚焦设备端Agentic LLM在单边缘加速器上的工具调用准确率与单用户延迟表现
AI评估披露困境：传统补丁模式为何失效
MLCommons指出，AI系统与传统软件不同，其评估发现具有双重用途、无法通过补丁修复，且开放权重模型的危害会永久存在。协调漏洞披露（CVD）模式因此失效。文章分析了三大核心挑战：发现易被滥用、过度反馈会污染测试、无法集中修复模型。MLC
MLCommons 发布 MLPerf Mobile v6.0，新增设备端 LLM 基准
MLCommons 正式推出 MLPerf Mobile v6.0 版本，新增针对 Android 设备运行大语言模型的生成式 AI 基准测试。该版本引入 Llama 3.2 1B、3B 及 Llama 3.1 8B Instruct 模型
MLPerf Training v6.0 基准结果发布：聚焦 MoE 稀疏计算
MLCommons 正式发布 MLPerf Training v6.0 基准测试结果。本次更新新增 DeepSeek V3 与 GPT-OSS 20B 两项基准，突出 Mixture-of-Experts（MoE）稀疏计算架构的行业趋势。测
MLPerf Inference v6.0 新增 GPT-OSS 120B 基准与 DeepSeek-R1 低延迟交互优化
MLPerf Inference v6.0 基准发布显著扩展了对开源大语言模型（LLM）的覆盖。随着行业转向更专业化开源模型，基准测试需适应部署策略与架构变化。本轮引入两大亮点：GPT-OSS 120B 新基准，基于117B参数MoE架构，
MLPerf Inference v6.0 Edge 套件升级至 YOLO11
MLPerf Inference 基准已成为评估 AI 基础设施性能的行业标准。本次 v6.0 Edge 套件将 RetinaNet 升级为 Ultralytics YOLO11，这款现代化的单阶段目标检测模型在 COCO 数据集上 mAP
AI风险新标准：AILuminate全球保障计划重塑可靠性
人工智能行业正处于转折点，企业将AI从实验阶段推向金融、医疗和制造等关键业务时，可靠性验证成为核心障碍。MLCommons联盟（包括KPMG、Google、Microsoft和Qualcomm）推出AILuminate全球保障计划（AIL
谷歌Gemini 3.1 Pro模型再创基准测试新纪录
谷歌最新发布的Gemini 3.1 Pro模型在多项基准测试中取得历史性成绩，再次刷新纪录。该模型承诺提供更强大的大语言模型（LLM）能力，能够处理更复杂的任务形式，包括多模态推理、长上下文理解和高级代码生成。相比前代，Gemini 3.1
谷歌DeepMind质疑：聊天机器人是否只是道德作秀？
谷歌DeepMind呼吁对大语言模型（LLM）的道德行为进行与编程或数学能力同等的严谨审查。随着LLM性能提升，人们越来越依赖它们扮演伴侣、治疗师、医疗顾问等角色。DeepMind强调，需要开发标准化基准来评估AI在道德困境中的真实表现，而
MLCommons 为可辩护越狱基准测试奠基
随着大语言模型进入安全、合规关键环境，对抗性提示鲁棒性已成为运营必需。单轮越狱攻击持续暴露系统弱点。MLCommons 推出基于分类法的评估方法，建立可辩护、可复现的基准基础。该方法采用机制优先的单轮提示攻击分类法，确保确定性标注、一一映射
技术标准：AI大规模采用的桥梁
人工智能正从消费级聊天工具转型为驱动企业服务的通用技术，却面临可靠性壁垒。企业需确信AI系统输出正确、安全且可靠，方能广泛部署。克服此挑战依赖评估标准，将ISO/IEC等传统标准与AI的非确定性桥接。MLCommons等组织将这些目标转化为
DLRMv3：MLPerf Inference生成式推荐基准
计算规模扩展遵循神经缩放定律，已显著减少自然语言处理和计算机视觉领域的手动特征工程需求，转而依赖大规模注意力Transformer模型从数据中自动学习丰富表示。类似趋势正变革深度学习推荐系统，传统依赖MLP、GNN和嵌入表架构，如今大型序列