NVIDIA与谷歌合作降低AI推理成本
在Google Cloud Next大会上，谷歌与NVIDIA共同展示了其硬件路线图，旨在解决大规模AI推理的成本问题。两家公司详细介绍了新的A5X裸机实例，该实例运行在NVIDIA Vera Rubin NVL72机架级系统上。通过硬件和
AI推理 相关资讯
Gimlet Labs优雅破解AI推理瓶颈，获8000万美元A轮融资
初创公司Gimlet Labs近日完成8000万美元A轮融资，其创新技术能让AI模型同时在NVIDIA、AMD、Intel、ARM、Cerebras和d-Matrix等多种芯片上运行，巧妙解决AI推理阶段的计算瓶颈。这一突破有望打破NVID
Reface与Prisma联合创始人联手Mirai，革新设备端AI模型推理
Reface和Prisma的联合创始人推出新创企Mirai，并完成1000万美元种子轮融资，专注于提升智能手机和笔记本等设备上AI模型的推理性能。这一创新旨在解决设备端AI运行的痛点，如功耗高、速度慢和隐私泄露风险。通过优化本地推理技术，M
AI推理独角兽Modal Labs洽谈25亿美元估值融资
据消息人士透露，四年历史的AI推理初创公司Modal Labs正与General Catalyst洽谈新一轮融资，估值高达25亿美元。该轮融资由General Catalyst领投，此举反映了AI基础设施领域投资热潮。随着生成式AI模型推理
Ares基准正式发布
MLCommons与LMSYS Org联合宣布Ares开源基准的推出，这是首个针对长上下文多代理推理的标准化评估框架。Ares整合Chatbot Arena的Elo Rating系统，测试模型在复杂任务中的表现，包括工具调用和多轮交互。首批
MLPerf Client 1.5 正式发布
MLCommons 近日发布了 MLPerf Client 1.5 基准测试套件，这是客户端 AI 推理性能评估的最新版本。该版本引入了多项优化和新场景，包括更真实的客户端负载模拟，支持热门模型如 BERT 和 Stable Diffusi
AI数学新星破解四大长期未解难题
一家名为Axiom的AI数学初创公司宣布，其AI系统成功解决了四个长期困扰数学家的未解难题。这一突破标志着AI推理能力的稳步提升，从简单证明到复杂问题求解，AI正逐步挑战人类数学巅峰。Axiom的成就不仅验证了大型语言模型在数学领域的潜力，