不止对标 DeepInfer:SGLang 交付了什么
DeepSeek 开源 DeepInfer 后,SGLang 团队用 DeepInfer 自身基准在相同硬件上复测 DeepSeek-V4.1-Flash。结果显示,SGLang 在 prefill 吞吐、decode 步长等关键指标上持平
DeepSeek 开源 DeepInfer 后,SGLang 团队用 DeepInfer 自身基准在相同硬件上复测 DeepSeek-V4.1-Flash。结果显示,SGLang 在 prefill 吞吐、decode 步长等关键指标上持平
法国AI实验室Mistral发布新一代开放权重模型Le Chonk,声称其在编程与网络安全任务上追平甚至超越DeepSeek与Z.ai的顶尖模型。若获独立验证,这将是欧洲首次在开源权重赛道正面领先中国,全球开源大模型的竞争格局也将再度生变。
TechCrunch报道,DeepSeek据称在数日内完成150亿美元融资,成为中国规模最大的融资轮之一。消息距美国以国家安全为由要求联邦机构移除其技术仅数日。资本狂热与政策打压形成鲜明反差,折射中美AI竞争进入资本、算力与监管多维博弈的新
美国政府已下令联邦文职机构从系统中移除中国人工智能公司DeepSeek的产品,以及使用其技术构建的第三方服务,理由是国家安全担忧。这一指令进一步升级了华盛顿对这家快速崛起的中国AI初创企业的审查,也标志着中美科技博弈从芯片、通信设备延伸至大
本文深入探讨1.6万亿参数MoE模型DeepSeek-V4-Pro在H20 GPU上的高效服务方案。通过硬件角色分配、Humming MXFP4AFP8量化及Online C128技术,结合PP2/PP4预填充与低延迟/高吞吐解码配置,显著
阿里巴巴发布迄今最大AI模型Qwen3.8-Max,采用混合专家架构,总参数达2.4万亿,单次推理仅激活约950亿参数,兼顾性能与成本。与此同时,DeepSeek最新V4-Flash模型以低于多个竞争系统的推理定价引发关注,两家公司正将中国
据Ars Technica报道,中国AI初创公司DeepSeek正计划自主研发芯片,以减少对美国Nvidia及中国华为芯片的依赖。目前该计划处于早期阶段,但已反映出中美科技脱钩背景下中国AI企业寻求自主可控的迫切需求。DeepSeek此前依
中国AI公司DeepSeek于4月27日发布了其备受期待的新旗舰模型V4的预览版。该模型在处理超长提示方面表现出色,可处理多达1万tokens的输入,标志着AI在长文本理解和生成领域的新突破。本文分析了V4模型的三大关键意义:长上下文处理、
上周五,中国人工智能公司DeepSeek发布了其期待已久的新旗舰模型V4的预览版。值得注意的是,这款模型能够处理比上一代更长的提示,这得益于其新设计,大幅提高了处理大量文本的效率。与DeepSeek之前的模型一样,V4是开源的,意味着它可以
为高效服务大规模 Mixture-of-Experts (MoE) 模型,宽 Expert Parallelism (EP) 策略已成为必需,但其可靠性瓶颈突出:单一硬件故障可能导致整个实例崩溃,重启需数分钟。为此,SGLang 集成 El
Anthropic公司指控中国AI实验室DeepSeek、Moonshot和MiniMax使用24,000个虚假账户大规模查询Claude模型,以提炼其AI能力。在此背景下,美国官员正辩论加强对AI芯片的出口管制,旨在减缓中国AI发展势头。
Blackwell家族最新成员GB300 NVL72成为长上下文LLM推理最强平台。本文分享优化DeepSeek R1-NVFP4在128K/8K ISL/OSL长上下文服务上的最新进展,采用prefill–decode disaggreg
过去一年,中国AI迎来转折点。自DeepSeek于2025年1月发布R1推理模型以来,中国企业频频推出开源AI创新,挑战全球格局。MIT Technology Review的《What's Next》系列探讨其未来:开源生态加速构建、多模态
DeepSeek Inference 5.1 是DeepSeek最新发布的推理引擎,在 MLCommons 推理基准中表现出色。该版本针对大模型高效推理进行了优化,支持 SGLang 等框架,显著提升了吞吐量和延迟性能。测试数据显示,在 L