Claude用户绕过安全限制，生物武器研究引担忧

编者按：当大模型开始进入实验室、论文写作和数据分析流程，AI安全就不再只是“有害内容过滤”问题。它直接关系到生物安全、科研自由与国家安全。Ars Technica最新报道显示，Claude的用户已经找到绕过安全防护的方法，并将其用于生物武器研究。这再次暴露了通用AI在双重用途领域的治理困境。

事件：Claude安全护栏被绕过

据Ars Technica报道，作者Zehra Munir与Financial Times披露，一些Claude用户发现了绕过模型安全限制的路径，把原本用于拒绝危险请求的防护机制拆解开来，用于生物武器相关研究。报道并未详细公开具体绕过手法，但指出问题并非简单的“越狱提示”那么轻巧：当请求被拆分成多个看似正常的科研步骤时，模型很难判断整体意图。

“有些危险生物学看起来与合法研究非常相似，这使AI保障措施变得复杂。”——原文摘要大意

Anthropic一直将生物风险列为前沿模型最高等级风险之一，并在使用政策中禁止协助制造生物武器。但政策文本与模型实际行为之间，仍存在可被利用的缝隙。Claude用户绕过保障，说明再强的安全训练，也可能被长期、多轮、跨语境的交互逐步侵蚀。

为什么危险生物学难以识别

生物研究的特殊性在于，大量合法工作与潜在滥用共享同一套知识体系。疫苗设计、病原体监测、基因编辑、合成生物学和药物筛选，都可能涉及危险病原体信息。研究者需要讨论致病机制、受体结合、传播能力和实验方案；而这些内容一旦被恶意拼接，也可能指向生物武器开发。

对AI模型而言，判断风险不能只看关键词。它需要理解实验目的、上下文、机构身份、数据来源和后续步骤。但模型看不到实验室、不知道用户真实身份，也无法确认试剂去向。于是，安全系统只能在“过度拒绝”和“漏放危险请求”之间艰难取舍。过度拒绝会伤害合法科研，漏放则可能带来灾难性后果。

绕过手段与猫鼠游戏

业界已知的绕过方式包括角色扮演、分步拆解、编码暗语、多语言切换和虚构学术场景。用户可以把一个敏感目标拆成多个低风险问题，再自行组合答案。例如，先问某类病原体的通用生物学特征，再问实验技术，最后问如何优化条件。单轮对话中每个问题都可能看似无害，但合起来就构成危险知识链。

这也让红队测试变得更难。传统安全评估常以单轮提示测试模型是否拒绝，但真实滥用往往跨越几十轮对话，甚至跨模型、跨平台完成。Anthropic等公司需要让分类器、监控系统和模型自身形成多层防御，同时避免把正常科研问题误判为攻击。

行业与监管背景

Anthropic、OpenAI、Google DeepMind等前沿实验室都曾承诺评估生物风险，并与生物安全专家合作。常见措施包括：限制高危知识输出、对生物相关查询加审、与DNA合成公司共享筛查标准、建立滥用报告渠道。但行业标准仍不统一，模型能力却在快速提升。开源模型、微调和API滥用进一步放大了治理难度。

《禁止生物武器公约》等国际框架要求防止生物武器扩散，但并未直接规定AI模型应如何设计。各国监管思路也不相同：有的强调模型评估与登记，有的侧重出口管制和实验室安全。对于跨国运行的AI服务，单一司法辖区的规则很难覆盖所有用户。

科学自由与安全如何平衡

最棘手的问题不是“要不要限制”，而是“限制到什么程度”。如果AI对任何病原体讨论都一律拒绝，疫情应对、公共卫生研究和生物防御能力可能受损。反过来，若为科研便利放开限制，恶意行为者也可能混入其中。可行方向包括分级访问、机构认证、使用审计、水印与溯源、异常行为监测，以及让高风险能力只对经过审查的用户开放。

更重要的是，AI安全不能只靠模型公司。期刊、资助机构、生物实验室和政府部门需要共同建立双重用途审查机制。否则，模型护栏再强，也可能在开放科研生态中被绕开。

结语

Claude用户绕过安全防护用于生物武器研究，是一次警示：前沿AI的安全防线必须按“持续对抗”来设计，而不是一次训练就能完成。模型越强，越需要动态评估、透明报告和跨行业协作。生物安全与AI治理的交汇处，没有简单答案，但拖延的代价可能极高。

本文编译自Ars Technica