突破极限:DeepSeek-V4-Pro 在 H20 上的服务优化
本文深入探讨1.6万亿参数MoE模型DeepSeek-V4-Pro在H20 GPU上的高效服务方案。通过硬件角色分配、Humming MXFP4AFP8量化及Online C128技术,结合PP2/PP4预填充与低延迟/高吞吐解码配置,显著
本文深入探讨1.6万亿参数MoE模型DeepSeek-V4-Pro在H20 GPU上的高效服务方案。通过硬件角色分配、Humming MXFP4AFP8量化及Online C128技术,结合PP2/PP4预填充与低延迟/高吞吐解码配置,显著
阿里巴巴发布迄今最大AI模型Qwen3.8-Max,采用混合专家架构,总参数达2.4万亿,单次推理仅激活约950亿参数,兼顾性能与成本。与此同时,DeepSeek最新V4-Flash模型以低于多个竞争系统的推理定价引发关注,两家公司正将中国
据Ars Technica报道,中国AI初创公司DeepSeek正计划自主研发芯片,以减少对美国Nvidia及中国华为芯片的依赖。目前该计划处于早期阶段,但已反映出中美科技脱钩背景下中国AI企业寻求自主可控的迫切需求。DeepSeek此前依
中国AI公司DeepSeek于4月27日发布了其备受期待的新旗舰模型V4的预览版。该模型在处理超长提示方面表现出色,可处理多达1万tokens的输入,标志着AI在长文本理解和生成领域的新突破。本文分析了V4模型的三大关键意义:长上下文处理、
上周五,中国人工智能公司DeepSeek发布了其期待已久的新旗舰模型V4的预览版。值得注意的是,这款模型能够处理比上一代更长的提示,这得益于其新设计,大幅提高了处理大量文本的效率。与DeepSeek之前的模型一样,V4是开源的,意味着它可以
为高效服务大规模 Mixture-of-Experts (MoE) 模型,宽 Expert Parallelism (EP) 策略已成为必需,但其可靠性瓶颈突出:单一硬件故障可能导致整个实例崩溃,重启需数分钟。为此,SGLang 集成 El
Anthropic公司指控中国AI实验室DeepSeek、Moonshot和MiniMax使用24,000个虚假账户大规模查询Claude模型,以提炼其AI能力。在此背景下,美国官员正辩论加强对AI芯片的出口管制,旨在减缓中国AI发展势头。
Blackwell家族最新成员GB300 NVL72成为长上下文LLM推理最强平台。本文分享优化DeepSeek R1-NVFP4在128K/8K ISL/OSL长上下文服务上的最新进展,采用prefill–decode disaggreg
过去一年,中国AI迎来转折点。自DeepSeek于2025年1月发布R1推理模型以来,中国企业频频推出开源AI创新,挑战全球格局。MIT Technology Review的《What's Next》系列探讨其未来:开源生态加速构建、多模态
DeepSeek Inference 5.1 是DeepSeek最新发布的推理引擎,在 MLCommons 推理基准中表现出色。该版本针对大模型高效推理进行了优化,支持 SGLang 等框架,显著提升了吞吐量和延迟性能。测试数据显示,在 L