异构CPU+GPU EPD解耦提升VLM服务性能
Intel与SGLang团队合作,通过Dynamo和SGLang实现了异构Encode-Prefill-Decode(EPD)解耦方案,用于视觉语言模型(VLM)服务优化。方案将视觉编码任务卸载至CPU(尤其是头节点CPU),利用Intel
Intel与SGLang团队合作,通过Dynamo和SGLang实现了异构Encode-Prefill-Decode(EPD)解耦方案,用于视觉语言模型(VLM)服务优化。方案将视觉编码任务卸载至CPU(尤其是头节点CPU),利用Intel
SGLang 与 Miles 宣布对 NVIDIA Nemotron 3 Ultra 实现 Day-0 支持。该模型专为长时程自主代理设计,采用混合 Transformer-Mamba MoE 架构,参数规模达 550B(激活 55B),上
Boson AI 与 SGLang-Omni 团队近日宣布,Higgs Audio v3 TTS 模型已在 SGLang-Omni 框架上实现端到端部署。该模型专为对话式语音代理设计,支持 100 种语言且 WER/CER 保持个位数,同时
LMSYS 正式宣布2026年博士奖学金首位获奖者为加州大学圣地亚哥分校博士生Will Lin。他因在开源AI基础设施领域的杰出贡献获此殊荣,奖学金最高可达5万美元,用于支持学费及相关费用。Will Lin目前领导FastVideo项目,已
Modal、Z Lab与SGLang团队联合发布DFlash推测解码模型,搭配SGLang Spec V2引擎,在Qwen 3.5 397B-A17B模型上实现SOTA推理延迟。HumanEval数据集并发1场景下,吞吐量较基线提升4.3倍
本文介绍 MOSS-TTS-Local-Transformer-v1.5 在 SGLang-Omni 上的端到端部署方案。该模型支持 48kHz 立体声音频、零样本语音克隆、长时合成、多语言生成及原生流式输出。SGLang-Omni 将请求
SGLang-JAX 现已支持 inclusionAI 的 Ling-2.6-1T 在 TPU v7x 上高效部署。通过分析发现 Mixture-of-Experts(MoE)路径是主要瓶颈。全新 Fused MoE V2 内核将 scat
本文介绍 SGLang 中针对 DeepEP MoE 推理的两种调度时负载均衡方案:Waterfill 和 LPLB。Waterfill 通过将共享专家动态分配给负载较低的 rank,在 DeepSeek-V3/R1 类工作负载下吞吐提升
福特汽车公司原以为引入人工智能就能彻底提升生产质量,但现实给了它一记重击。AI在复杂制造流程中频繁出错,导致缺陷率不降反升。为此,福特不得不重新返聘多位退休的资深工程师——他们被内部戏称为“灰胡子”——依靠其数十年的经验来弥补AI的短板。这
华尔街投资者正急切寻找下一个像英伟达那样在人工智能浪潮中暴涨的上市公司,而美国存储芯片制造商美光科技被寄予厚望。随着AI训练和推理对高带宽内存(HBM)需求的激增,美光凭借其在DRAM和HBM领域的技术优势,有望成为继英伟达之后最大的AI硬
软银CEO孙正义公开质疑埃隆·马斯克提出的轨道数据中心计划,认为其技术和经济可行性尚不明确。这一质疑并非孤例,业内专家普遍对太空数据中心的散热、延迟、维护等核心挑战持保留态度。然而,马斯克仍坚持其愿景,试图通过Starlink和SpaceX
据报道,苹果负责Vision Pro头显的副总裁Paul Meade即将离职,加入OpenAI的硬件团队。这一人事变动引发行业广泛关注,标志着OpenAI在拓展硬件领域迈出重要一步,同时也让苹果的混合现实业务未来充满变数。本文深度分析此次跳
Connor Christou,一位极度注重健康的创始人,在确诊癌症后决定用AI反击。他将所有与健康状况相关的数据——血液检测结果、影像扫描、可穿戴设备输出、日记记录——全部输入Anthropic的AI助手Claude。Claude不仅帮他
随着美国AI公司Anthropic的模型出口禁令持续发酵,亚洲AI初创企业纷纷推出性能媲美甚至超越西方前沿模型的“神话级”大模型。这些模型不仅规避了出口限制,更以本地化优势快速占领市场。专家分析指出,美国AI实验室可能永远失去这个全球增长最
经过数周紧张谈判,白宫最终批准AI初创公司Anthropic向少数美国企业和政府机构开放其最先进AI模型“Mythos”。这一决定标志着联邦政府首次在AI安全审查与商业利益之间达成微妙平衡,但同时也引发了对技术垄断和潜在滥用的担忧。据悉,首
据TechCrunch报道,特朗普政府已批准超过100家美国公司及政府机构使用Anthropic公司最新AI模型Mythos 5,包括其非美国籍员工。此举被视为美国在AI领域政策开放的标志,但也引发对数据安全与伦理的担忧。
韩国国防部宣布,计划将全国50万现役军人全部纳入无人机操作训练,使之成为“通用战斗工具”。这一举措旨在应对朝鲜无人机威胁,并顺应全球军事智能化趋势。韩国将成为首个大规模普及无人机作战的国家。
OpenAI正式任命Uber印度前负责人Prabhdeep Singh担任印度市场主管,这是其在美国以外最大市场的最新布局。随着印度成为AI增长最快的市场之一,OpenAI正加速本地化运营,包括设立新办公室、深化与当地企业的合作以及大规模招
OpenAI近日应美国政府要求,暂时限制了新一代大语言模型GPT-5.6的部署范围。该公司在声明中强调,此类政府干预不应成为长期默认做法,否则将阻碍先进工具惠及开发者、企业、网络安全人员及全球合作伙伴。这一事件再次引发关于AI发展与监管平衡
美国最高法院近日对索尼相关版权案作出不利裁决后,纽约时报迅速调整了对OpenAI和微软的诉讼策略,转而指控微软专门建造超级计算机以协助OpenAI大规模侵犯其新闻版权。该指控将科技巨头间的AI版权之争推向新高潮,也引发了对AI训练数据合法性