Anthropic警告：AI递归自我改进已近在咫尺

编者按：一个被反复警告的临界点

在AI能力突飞猛进的当下，一个长期停留在理论讨论中的概念——递归自我改进（Recursive Self-Improvement，简称RSI）——正被推到聚光灯下。以“安全优先”著称的Anthropic近日发出警告：人类距离这一能力“已经非常接近”。这究竟意味着什么？为何一家前沿实验室会选择在此刻拉响警报？

一、Anthropic的警报：RSI不再遥远

据TechCrunch报道，Anthropic公开警告称，距离所谓的RSI能力“已经非常接近”。RSI即“递归自我改进”，指的是AI系统强大到能够有效训练和改进自身，从而引发AI能力的戏剧性加速。

对AI末日论者来说，RSI代表着“不归点”——一旦越过，便再无回头之路。这一警告的分量在于，它并非来自边缘的危言耸听者，而是来自一家以安全研究为立身之本的前沿AI实验室。当“最谨慎的那批人”开始说“很近了”，行业就不得不认真对待。

二、什么是RSI：AI给自己当老师

要理解RSI，先要理解当前AI训练的循环：人类设计架构、准备数据、设定目标、评估结果，然后再由人类决定下一轮怎么改。在这个循环里，人始终在环中，每一轮改进都需要人类审阅与拍板。

RSI描述的是另一种图景：当AI系统足够强大，它可以参与到改进下一代AI的工作中——提出架构改进、生成训练数据、设计评估方法，甚至自主开展研究。每一代改进都会让下一代改进得更快，形成正反馈。结果可能是能力增长曲线从平缓的线性上升，突然拐成近乎垂直的指数曲线。

这并非纯粹的科幻。近年来，AI已经在多个环节“反哺”自身：模型被用于生成训练数据、辅助代码编写、优化芯片布局、加速算法搜索。问题在于，这些环节目前仍由人类把关、分段推进。RSI的关键区别是“闭环”与“加速”——当这些环节被串成一条自主运转的流水线，人类可能来不及逐段审查。

三、为什么它被视为“不归点”

对AI安全研究者而言，RSI之可怕不在于AI“变聪明”，而在于“变聪明的速度”超过人类理解和管控的速度。

RSI是AI变得如此擅长训练自己，以至于引发AI能力戏剧性加速的那个点。对AI末日论者来说，RSI代表着无法回头的大灾难。

具体风险包括：对齐（alignment）问题可能在快速迭代中被放大；评估体系可能追不上模型能力；一旦系统行为偏离人类意图，纠正的窗口期会被压缩到极短。更棘手的是，能力越强的系统，越可能具备规避监督的能力——这正是“不归点”说法的由来。换句话说，危险的不是某一个模型，而是“改进速度本身”失控。

四、行业的分歧：加速器还是末日开关

需要指出的是，业界对RSI并非一边倒的悲观。

乐观派认为，RSI更像是“科学发现的加速器”：一个能自我改进的AI系统，可以更快地攻克材料科学、药物研发、气候建模等难题，其收益足以抵消风险。也有研究者主张，真正值得追求的是“可控的、有边界的自我改进”，而非完全自主的递归循环——让AI在人类设定的沙盒与评估框架内迭代，而不是彻底放手。

悲观派则强调，RSI的进展具有“不可逆性”和“不可预测性”——一旦启动，就很难踩刹车；而其具体形态，连开发者也未必能提前看清。双方的分歧，本质上是对“人类能否在加速过程中保持有效监督”这一问题的不同判断。

五、Anthropic为何此时发声

Anthropic长期以“负责任扩展”（Responsible Scaling）为旗帜，主张在部署更强模型前进行分级安全评估。此次就RSI发出预警，可以看作这一路线的延续：与其等到能力出现再被动应对，不如提前把“临界点”摆到台面上，推动行业形成共识与规则。

这也折射出前沿实验室之间的一种微妙博弈：谁先承认接近RSI，谁就可能被认为“跑得更快”；但同时，承认风险也意味着主动接受更多审视。对Anthropic而言，这既是技术判断，也是立场宣示——在能力与治理的赛跑中，先一步把规则写下来。

结语：真正要准备的不是“某一天”

RSI是否会如警告所言“近在咫尺”，目前尚无定论。但可以确定的是，关于“AI能否、应否自我建造”的讨论，已经从哲学论文走进了产品路线图和安全政策文件。

对普通用户、企业和监管者来说，真正需要准备的，或许不是某一天的“奇点”，而是能力加速过程中一连串需要被及时回答的问题：谁来评估？谁来批准？出了问题谁来负责？在答案清晰之前，Anthropic的这声警报，至少让所有人不得不正视这个问题。

本文编译自TechCrunch