谷歌更新Android Bench引入新LLM，Gemini仍显落后

Google近日宣布对Android Bench进行重大更新，首次将大型语言模型（LLM）测试纳入移动端性能评估体系。然而，令人意外的是，Google自家的Gemini模型在初步测试中表现平平，落后于第三方模型如GPT-4和Claude。这一结果引发了业界对移动端AI算力分配与模型优化的新讨论。

Android Bench的进化：从CPU/GPU到AI

Android Bench是Google为Android开发者提供的跨设备性能基准测试工具，此前主要测试CPU、GPU、内存和存储等传统硬件指标。随着AI功能在移动设备上的普及，特别是本地LLM推理需求激增，Google决定在最新版本中引入专门的LLM测试模块。该模块通过运行不同规模的模型（如Gemini Nano、Gemini Pro的移动端变体）来评估设备的推理速度、能耗和内存占用。

根据Ars Technica的报道，开发者现在可以通过提交反馈来影响测试方法的演进——例如调整模型精度设置或指定测试用例。Google在官方博客中强调：“Android Bench正在进化，开发者可以帮助引导这一过程。”这意味着未来的测试标准将更贴近实际应用场景。

Gemini表现不佳：意料之外，情理之中？

尽管Google在云端大力推广Gemini系列，但在移动端，其性能却遭遇滑铁卢。在Android Bench的初步测试中，搭载Gemini Nano的设备在文本生成和摘要任务上速度较慢，且功耗较高。相比之下，同级别的第三方模型（如Meta的Llama 3移动版）在延迟和能效上均更优。这或许与Gemini模型架构专门针对云端设计有关，其移动端量化版本仍需优化。

“Android Bench is evolving, and developers can help guide that process.” —— Ars Technica援引Google声明

不过，有分析人士指出，Android Bench的LLM测试目前仍处于beta阶段，模型优化和硬件适配尚不完善。Gemini在移动端的表现不佳，并非意味着其技术路线失败，而是反映出移动端AI部署面临的普遍挑战：算力与功耗的平衡、模型压缩与精度损失之间的取舍。

行业背景：移动端LLM基准测试为何重要？

随着智能手机厂商纷纷将AI作为核心卖点——从实时翻译到图像生成——一个统一、可信的基准测试标准变得至关重要。此前业界主要依赖Geekbench ML或MLPerf Mobile，但这些工具侧重于传统机器学习任务（如图像分类）。Android Bench的LLM更新填补了空白，尤其针对纯文本大模型在移动设备上的实际表现。

值得注意的是，Apple也在今年初推出了面向开发者的大型语言模型测试套件（但仅限于A17 Pro及以上芯片）。Google此举显然意在形成竞争参考，并可能推动芯片厂商（如高通、联发科）在AI引擎设计上针对主流LLM进行优化。

编者按：关注测试公平性，警惕“训模型跑分”

Android Bench引入LLM测试是积极的一步，但开发者需谨慎解读初版数据。首先，不同模型的优先优化方向不同——有的侧重于低功耗，有的追求低延迟。其次，硬件适配程度也会显著影响结果。Google在文档中明确表示，测试代码会不断更新，以反映新API和运行时环境。因此，建议开发者在评估设备AI性能时，结合自己的应用场景进行交叉验证。

此外，此次Gemini落榜也提示科技巨头：云端模型强不等于移动端强。模型压缩、量化感知训练和硬件协同设计仍是移动AI成败的关键。对于小模型开发者而言，这恰恰是弯道超车的机会。

本文编译自Ars Technica