Cerebras公开万亿参数部署全技术细节：59片晶圆跑通3万亿参数模型，速度超千token每秒

2026年10月22日，Cerebras在官方博客发布技术文章，作者Sarah Chieng，题为《我们如何在Cerebras上部署万亿参数前沿模型》。文章以Moonshot AI的开源模型Kimi K3为案例，披露将约3万亿参数模型分布运行在59片WSE-3T晶圆上、达到每秒1000至2000余个token推理速度的方法。

单片WSE-3T晶圆仅有44 GB片上SRAM，而3万亿参数模型权重需数TB空间。Cerebras通过将模型切分后分布到多片晶圆，以流水线方式协同推理。

Kimi K3约有3万亿参数（多家媒体报道精确数字为2.8万亿），共93层——69层线性注意力层、24层稠密注意力层。以4比特量化存储，全部权重约1.5 TB，平均每层约16 GB。

稠密注意力层需为活跃请求存储KV缓存，内存占用随并发量线性增长。Cerebras方案为每片晶圆放置一层稠密层，24层对应24片晶圆。线性注意力层仅维护固定大小状态，无需额外KV缓存，每片晶圆可容纳两层，69层需35片晶圆。合计59片WSE-3T晶圆。

59片晶圆采用流水线执行架构：编译器将模型层映射到各晶圆，运行时规划token流转路径。每片晶圆间仅传递激活值，权重静止存储。相邻晶圆通过RDMA以太网传输，单跳延迟约2微秒。

流水线架构允许多个请求同时在不同阶段晶圆上处理，权重不移动、激活值轻量流转。在256k平均请求规模假设下，59片晶圆配置可支持约600至700个并发请求。

传统GPU集群处理4050亿参数模型时通常达到每秒30至80个token；WSE-3运行Llama 3.1 70B模型可达每秒约2100个token，H100 SXM5在FP8精度下约为550个token每秒。当并发用户超过8个时，基于H100的vLLM连续批处理可通过批量化追上甚至超过WSE-3。Cerebras在单请求、低延迟场景优势显著。

Kimi K3在Terminal-Bench 2.1上得分88.3%，在BrowseComp上达到91.2%，前者微弱落后于GPT-5.6 Sol的88.8%，后者反超GPT-5.6 Sol的90.4%。开源模型在部分代理任务基准上已与顶级闭源模型持平。

代理式AI工作流对延迟高度敏感，多步骤任务常需串行调用数十次模型。1000至2000token每秒的速度使长上下文任务等待时间从分钟级降至秒级，对代码生成、自动化研究和复杂文档处理有直接实用意义。

Groq以LPU架构主打推理速度，NVIDIA持续推进GPU集群软件优化（如vLLM、TensorRT-LLM）。Cerebras公开3万亿参数模型完整技术路径，在“大模型推理速度”维度设立新公开参照点。

Cerebras能否将59晶圆配置商业化为稳定API服务或提供第三方托管推理端点；其他开源模型能否在同等硬件配置下复现类似速度；WSE-3T晶圆供货量构成规模化实质约束。