SGLang 与 Miles 为 Kimi K3 提供 Day-0 支持
SGLang 与 Miles 携手 Moonshot AI 和 NVIDIA，为 2.8 万亿参数的 Kimi K3 模型提供 Day-0 支持。该混合架构融合 KDA 线性注意力与 MLA，带来全新内存管理、统一内存池及 DSpark 推
大模型推理 相关资讯
MLPerf v6.1征集边缘Agentic推理基准结果
MLCommons Edge LLM Taskforce宣布在MLPerf Inference v6.1中引入Edge Agentic Inference基准，聚焦设备端Agentic LLM在单边缘加速器上的工具调用准确率与单用户延迟表现
OpenAI与博通联手打造大模型推理芯片
为应对大模型推理需求飙升，OpenAI与博通（Broadcom）联合宣布推出一款专为大规模LLM推理设计的定制芯片。该芯片基于博通在ASIC（专用集成电路）领域的深厚积累，旨在显著降低推理成本与延迟，加速AI应用落地。此举标志着AI领域的芯