CKAN Croissant：MLCommons AI模型基准新纪元
MLCommons近日发布CKAN Croissant基准，基于Croissant v1.0元数据格式，旨在标准化AI模型评估。LMSYS Org参与开发，该基准整合了Chatbot Arena的Elo Rating系统与SGLang推理引
MLCommons 相关资讯
MLCommons发布Ailuminate法语数据集
MLCommons组织近日推出Ailuminate基准的法语数据集版本，进一步扩展多语言大语言模型（LLM）评估框架。该数据集涵盖翻译、阅读理解、常识推理等多项任务，总计超过10万条高质量法语样本，由专业标注团队构建，确保文化适应性和准确性
NASSCOM 加入 MLCommons 联盟，推动印度 AI 基准发展
MLCommons 宣布印度国家软件与服务公司协会（NASSCOM）正式加入其联盟，成为第 50 个成员组织。这一合作将助力印度 AI 生态系统的发展，推动标准化基准测试如 MLPerf 的应用。NASSCOM 代表超过 3000 家成员企
ATX基准专家面板深度解析
MLCommons近日举办的ATX（Agent Testing eXploration）基准专家面板讨论，由LMSYS Org等机构参与，聚焦AI代理评估的新挑战与机遇。面板探讨了从Chatbot Arena等现有基准向代理任务演进的路径，
2025 MLC 新星榜单揭晓
MLCommons 发布了 2025 MLC Rising Stars 榜单，表彰在 MLPerf Inference v5.0 基准测试中使用 MLC（ML Compiler）框架提交结果中表现突出的新兴系统。这些新星系统在多种任务如 L
Ares基准正式发布
MLCommons与LMSYS Org联合宣布Ares开源基准的推出，这是首个针对长上下文多代理推理的标准化评估框架。Ares整合Chatbot Arena的Elo Rating系统，测试模型在复杂任务中的表现，包括工具调用和多轮交互。首批
Storage 2 检查点机制详解
MLCommons Storage 2 基准聚焦AI训练中的检查点（Checkpointing）存储性能，这是分布式训练中不可或缺的核心环节。本文深入剖析Storage 2 Checkpointing测试框架，包括关键指标如检查点保存时间、
MLCommons Whisper 推理基准 v5.1 发布
MLCommons 发布了 Whisper Inference v5.1 基准，针对 OpenAI Whisper 系列模型的语音转文本（STT）推理性能进行全面评估。新版本新增 large-v3 模型支持，优化了评估数据集和流程，主要指标
MLCommons 小型LLM推理基准5.1发布
MLCommons近日发布了Small LLM Inference基准5.1版本，这是针对1-3B参数小型语言模型推理性能的标准化测试框架。此次更新引入了更多模型和硬件提交，涵盖了Llama 3.2 1B、Phi-3.5-mini等热门SL
Croissant MCP：MLCommons 新一代模型元数据标准
MLCommons 近日发布了 Croissant MCP（Model Card Profile），这是基于 Croissant 格式的创新扩展，旨在标准化 AI 模型的元数据描述。该标准简化了模型卡片的创建与共享，支持自动生成文档、提升可
AILuminate越狱基准V05发布：AI模型安全排行大洗牌
MLCommons与LMSYS Org联合发布的AILuminate Jailbreak V05基准测试结果新鲜出炉！本次更新引入了更先进的越狱攻击策略，覆盖化学、生物、网络安全等高风险领域。顶级模型如GPT-4o、Claude 3.5 S
Flux.1 训练全解析：高效图像生成模型的诞生
MLCommons 发布的《Training Flux.1》报告详解了 Black Forest Labs 的 Flux.1 模型训练过程。该模型采用 12B 参数的 DiT 架构，在海量高质量数据集上训练，支持文本到图像生成，性能媲美 M
训练 Llama 3.1 8B：MLCommons 基准详解
MLCommons 最新发布 Llama 3.1 8B 模型训练基准报告，由 LMSYS Org 贡献。该报告详细记录了使用标准硬件集群训练该 8B 参数模型的全过程，包括数据准备、训练时长、能耗和性能指标。结果显示，在 4090 张 H1
ISO-AUS：MLCommons发布新一代AI推理基准
MLCommons与LMSYS Org合作推出ISO-AUS基准测试，这是首个针对AI模型隔离推理优化的标准化框架。ISO-AUS聚焦于高负载下的模型隔离性能、资源利用率和延迟控制，涵盖从边缘设备到云端服务器的多种场景。测试结果显示，领先模
MedPerf 新增 WebUI 功能，提升隐私保护基准测试体验
MLCommons 旗下开源平台 MedPerf 近日推出 WebUI 支持，用户无需本地安装即可通过浏览器轻松运行隐私保护的机器学习基准测试。新功能集成了 SGLang 等后端，简化了模型评估流程，支持多种任务如图像分类和 NLP。Web