SGLang 中 Waterfill 与 LPLB 优化 DeepEP MoE 负载均衡
本文介绍 SGLang 中针对 DeepEP MoE 推理的两种调度时负载均衡方案:Waterfill 和 LPLB。Waterfill 通过将共享专家动态分配给负载较低的 rank,在 DeepSeek-V3/R1 类工作负载下吞吐提升
本文介绍 SGLang 中针对 DeepEP MoE 推理的两种调度时负载均衡方案:Waterfill 和 LPLB。Waterfill 通过将共享专家动态分配给负载较低的 rank,在 DeepSeek-V3/R1 类工作负载下吞吐提升
福特汽车公司原以为引入人工智能就能彻底提升生产质量,但现实给了它一记重击。AI在复杂制造流程中频繁出错,导致缺陷率不降反升。为此,福特不得不重新返聘多位退休的资深工程师——他们被内部戏称为“灰胡子”——依靠其数十年的经验来弥补AI的短板。这
华尔街投资者正急切寻找下一个像英伟达那样在人工智能浪潮中暴涨的上市公司,而美国存储芯片制造商美光科技被寄予厚望。随着AI训练和推理对高带宽内存(HBM)需求的激增,美光凭借其在DRAM和HBM领域的技术优势,有望成为继英伟达之后最大的AI硬
软银CEO孙正义公开质疑埃隆·马斯克提出的轨道数据中心计划,认为其技术和经济可行性尚不明确。这一质疑并非孤例,业内专家普遍对太空数据中心的散热、延迟、维护等核心挑战持保留态度。然而,马斯克仍坚持其愿景,试图通过Starlink和SpaceX
据报道,苹果负责Vision Pro头显的副总裁Paul Meade即将离职,加入OpenAI的硬件团队。这一人事变动引发行业广泛关注,标志着OpenAI在拓展硬件领域迈出重要一步,同时也让苹果的混合现实业务未来充满变数。本文深度分析此次跳
Connor Christou,一位极度注重健康的创始人,在确诊癌症后决定用AI反击。他将所有与健康状况相关的数据——血液检测结果、影像扫描、可穿戴设备输出、日记记录——全部输入Anthropic的AI助手Claude。Claude不仅帮他
随着美国AI公司Anthropic的模型出口禁令持续发酵,亚洲AI初创企业纷纷推出性能媲美甚至超越西方前沿模型的“神话级”大模型。这些模型不仅规避了出口限制,更以本地化优势快速占领市场。专家分析指出,美国AI实验室可能永远失去这个全球增长最
经过数周紧张谈判,白宫最终批准AI初创公司Anthropic向少数美国企业和政府机构开放其最先进AI模型“Mythos”。这一决定标志着联邦政府首次在AI安全审查与商业利益之间达成微妙平衡,但同时也引发了对技术垄断和潜在滥用的担忧。据悉,首
据TechCrunch报道,特朗普政府已批准超过100家美国公司及政府机构使用Anthropic公司最新AI模型Mythos 5,包括其非美国籍员工。此举被视为美国在AI领域政策开放的标志,但也引发对数据安全与伦理的担忧。
韩国国防部宣布,计划将全国50万现役军人全部纳入无人机操作训练,使之成为“通用战斗工具”。这一举措旨在应对朝鲜无人机威胁,并顺应全球军事智能化趋势。韩国将成为首个大规模普及无人机作战的国家。
OpenAI正式任命Uber印度前负责人Prabhdeep Singh担任印度市场主管,这是其在美国以外最大市场的最新布局。随着印度成为AI增长最快的市场之一,OpenAI正加速本地化运营,包括设立新办公室、深化与当地企业的合作以及大规模招
OpenAI近日应美国政府要求,暂时限制了新一代大语言模型GPT-5.6的部署范围。该公司在声明中强调,此类政府干预不应成为长期默认做法,否则将阻碍先进工具惠及开发者、企业、网络安全人员及全球合作伙伴。这一事件再次引发关于AI发展与监管平衡
美国最高法院近日对索尼相关版权案作出不利裁决后,纽约时报迅速调整了对OpenAI和微软的诉讼策略,转而指控微软专门建造超级计算机以协助OpenAI大规模侵犯其新闻版权。该指控将科技巨头间的AI版权之争推向新高潮,也引发了对AI训练数据合法性
英伟达长期统治AI芯片市场,但完全依赖的时代可能即将结束。OpenAI刚刚宣布与博通合作研发定制推理芯片Jalapeño,加入谷歌、苹果、SpaceX等公司行列,试图摆脱单一供应商风险。这一举措不仅可能重塑AI芯片格局,更标志着科技巨头正从
随着AI模型能力达到足以产生真实政治后果的水平,行业焦点已从巨头间的竞争转向如何应对这些后果。专家呼吁建立集体治理机制,通过多方协作确保AI发展符合社会利益,而非任由单点突破主导未来。
白宫要求OpenAI推迟其最新GPT-5.6模型的发布,距离Anthropic被迫下架其最先进AI模型仅两周。这一决定凸显了政府对前沿AI潜在风险的日益担忧,也引发了关于技术创新与安全监管平衡的激烈讨论。
英伟达长期主导AI芯片市场,但随着依赖单一供应商的风险日益凸显,从OpenAI、Google到SpaceX等科技巨头纷纷转向自研芯片。OpenAI宣布与博通合作开发定制推理芯片Jalapeño,标志着AI芯片竞争进入新阶段。本文深入分析巨头
欧洲正加速推进自主AI战略,试图摆脱对美国的依赖。虽然短期内构建顶尖模型仍面临算力、资金和人才短板,但一个意想不到的变量——唐纳德·特朗普——可能成为欧洲的转折点。特朗普的政策不确定性、贸易摩擦以及对华技术封锁,正在迫使欧洲重新思考技术主权
本周伦敦遭遇危险热浪,科学家正研究高温如何影响大脑功能。与此同时,OpenAI推出了前所未有的使用限制,引发行业讨论。本文编译自MIT Technology Review的每日科技简报,深入解析热浪与大脑的关系以及AI巨头的政策变动。
SAP正将碎片化的商务数据统一为可操作的结构,以在执行层实现AI个性化。企业领导层虽已设定客户需求预测目标,但现有基础设施难以支撑大规模系统化执行,推荐引擎仍推送通用产品列表。本文解析SAP的数据对齐策略,探讨从战略到执行的关键瓶颈,并附行