MLCommons 发布 MLPerf Mobile v6.0，新增设备端 LLM 基准

MLCommons 今日宣布推出 MLPerf Mobile v6.0 版本，新增针对 Android 设备上运行大语言模型（LLMs）的生成式 AI 基准测试。这些测试与 MLPerf Mobile 应用中已有的图像生成、目标检测、超分辨率等基准共同构成完整测试套件。

新增设备端 LLM 基准测试

MLPerf Mobile v6.0 采用以下模型作为新的 LLM 基准：

• Llama 3.2 1B Instruct
• Llama 3.2 3B Instruct
• Llama 3.1 8B Instruct

模型将处理来自 TinyMMLU 和 IFEval 数据集的请求，以量化设备端 AI 推理的性能和准确性。

LLM 测试可在内存充足的设备上通过 CPU 运行，无需定制加速。此外，本次发布支持在高通 Snapdragon 8 Elite Gen 5 SoC 上通过 NPU 加速执行 Llama 3.1 8B Instruct 模型。工作组计划未来扩展对更多设备和平台的 LLM 加速支持。

扩展 SoC 支持与广泛可用性

为快速集成新设备支持，v6.0 版本新增对基于联发科 Dimensity 9500 系列芯片的设备支持。同时更新了对以下芯片的支持：

• Qualcomm Snapdragon 8 Elite Gen 5
• Samsung Exynos 2600

应用已支持众多移动设备上的 NPU 加速执行。

MLPerf Mobile 应用可通过 Google Play 商店、Apple App Store 以及 MLPerf Mobile GitHub 仓库获取。GitHub 仓库还提供了基于 Apache 2.0 许可的完整开源代码。