Thinking Machines Lab发布Inkling 975B参数模型 美国开放权重领先但落后中国

Thinking Machines Lab于2026年7月发布Inkling模型,总参数9750亿,激活参数410亿,支持文本图像音频输入和100万token上下文。该模型在美国开放权重模型的智能体任务中领先,但整体性能落后于中国顶尖模型。

事实还原

Inkling是Thinking Machines Lab从零训练的首个模型,采用混合专家Transformer架构,完整权重在Hugging Face开放。预训练使用450000亿token,覆盖文本、图像、音频和视频。模型支持通过Tinker平台进行微调,定位为定制化基础模型。同期预览版Inkling-Small参数2760亿,激活参数120亿。

机制拆解

模型采用66层解码器仅Transformer,MoE前馈层包含256个路由专家和2个共享专家,每token激活6个路由专家加全部共享专家。路由器基于sigmoid实现负载均衡,无辅助损失。注意力机制以5:1比例交替滑动窗口与全局层,使用相对位置嵌入而非RoPE。音频输入转为dMel频谱图,图像切分为40×40像素块,经四层hMLP编码后与文本token共同处理。训练先用Muon优化大矩阵权重、Adam优化其余参数,后续通过合成数据监督微调,再进行超3000万次异步强化学习,生成可控推理强度机制。

产业影响

对美国开放权重开发者而言,Inkling提供多模态原生支持和可调推理强度,在Terminal Bench 2.1上达到同等性能仅需Nemotron 3 Ultra三分之一token,降低长流程工作流成本。对企业用户,开放权重允许本地部署,强调数据主权,适合需要定制的场景。对中国模型竞争者,Inkling在Artificial Analysis Intelligence Index得分41,高于Nemotron 3 Ultra的38,但整体仍落后于Kimi K2.6等模型,暴露事实准确性不足问题,幻觉率达63%。

对照与先例

与DeepSeek-V3的MoE设计相似,Inkling同样采用路由与共享专家结合,但注意力与位置编码调整更注重长上下文外推。训练中引用Kimi K2.5生成合成数据,显示中美模型在数据生成环节已形成交叉依赖。相比闭源路线,Thinking Machines Lab选择开放权重,定位于Tinker平台的微调服务,而非直接与旗舰模型正面竞争。

战略判断

基于当前基准表现和架构细节,Inkling最可能在企业定制场景中获得采用,开发者会通过Tinker Playground测试其推理强度曲线以匹配具体延迟要求。后续验证信号包括Artificial Analysis平台上新模型得分更新,以及Tinker平台微调任务实际运行数据。