MLCommons 更新使命：标准化 AI 测量 赋能明智决策

过去八年，AI 行业与 MLCommons 均经历了巨大增长与变革。这一切离不开所有成员的支持。

使命更新：标准化 AI 测量

今日，MLCommons 正式更新使命，明确核心重点：Standardize AI measurement and enable informed decisions。

测量是负责任释放 AI 巨大潜力的基石。AI 系统如同终极黑箱，依赖数十亿参数生成复杂行为。目前我们对其工作机制的解释仍模糊且不充分，且系统复杂度持续上升。训练与运行 AI 成本高昂、能耗巨大，更好的测量能帮助我们实证刻画系统行为及其运营成本。

测量范围与价值

凡对 AI 硬件、软件或数据价值有影响的特性——速度、功耗、可靠性或质量——我们都致力于测量。这将支持当前 AI 系统的明智决策、成本效益权衡、创新指引以及风险管理（如保障与保险）。工作惠及学术研究者、软硬件厂商、部署者、终端用户乃至政策制定者。

我们这样做是为了降低 AI 市场风险并促进其增长。

工业级基准测试的构建与运营

MLCommons 专注于开发和运行标准化测量，即工业级基准测试。这些测试结合详细协议与测试工具、留存数据集、评估模型等制品。由于 AI 测试的复杂性与主观性，仅靠论文标准的多方实现难以获得可比测量结果。制品需在技术和法律上受保护以防过拟合，测量还需随技术演进——这需要可信且可持续运营的组织。

我们的工作包括定义、构建、运营、验证、解释、演进与连接基准：

• Defining：明确测量对象与指标，通过透明社区流程制定严谨协议。
• Building：将真实用例转化为严谨测试场景，并维护随 AI 进步演进的评估。
• Operating：借助 Candela 等基础设施提供高完整性服务。
• Validating：提供第三方结果确认，支持采购、保险与合规。
• Explaining：帮助用户理解结果并与标准组织合作。
• Evolving：持续改进以反映技术进步。
• Connecting：对接全球标准与政策框架。

组织变革与未来规划

MLCommons 将实施多项变革：优化网站与资源、引入产品营销思维、支持性能与可靠性权衡、调整会费结构以吸引部署者加入、拓展医疗与金融服务等新领域。

我们欢迎反馈，并将继续随 AI 数据科学等领域发展而演进。感谢各位成员的支持。