谷歌更新Android Bench引入新LLM,Gemini仍显落后
Google近日更新了其移动端性能基准测试工具Android Bench,新增了对大型语言模型(LLM)的测试支持,但自家的Gemini模型在多项指标上表现不佳。这一变化标志着移动AI性能评估进入新阶段,开发者可通过反馈引导测试流程的完善。
Google近日更新了其移动端性能基准测试工具Android Bench,新增了对大型语言模型(LLM)的测试支持,但自家的Gemini模型在多项指标上表现不佳。这一变化标志着移动AI性能评估进入新阶段,开发者可通过反馈引导测试流程的完善。
MLCommons 近日发布了 MLPerf Client 1.5 基准测试套件,这是客户端 AI 推理性能评估的最新版本。该版本引入了多项优化和新场景,包括更真实的客户端负载模拟,支持热门模型如 BERT 和 Stable Diffusi