2026年,Wired曝光Meta“Cannes”项目细节:通过肯尼亚承包商雇用数百人,创建假未成年账号,向ChatGPT和Gemini发送自杀、自残、儿童剥削提示,测试安全漏洞。
测试执行方式
承包商按照Meta指定脚本操作,每个账号模拟13至17岁用户,连续发送包含具体场景的提示,例如描述自残方法或请求儿童相关内容。测试覆盖数十万次交互,记录AI是否拒绝、部分回应或完全生成有害输出。
这一流程要求API稳定调用和日志记录,确保每次提示都能被追踪到具体模型版本。实际执行中,部分提示被竞品AI直接拒绝,部分则返回模糊建议,暴露过滤规则的覆盖盲区。
安全机制原理
现代AI安全依赖多层过滤:输入分类模型先判断提示意图,输出阶段再检查生成文本是否触及禁止类别。Meta测试针对的是这些分类器的召回率,即是否能捕捉到伪装后的有害请求。
AI通过多道检查门,测试者用儿童身份和间接表述绕过第一道门,观察后面门是否关闭。数据来自固定脚本和重复实验,结论可追溯到具体交互记录。
已确认事实与数据
Meta通过肯尼亚承包商运行该项目,涉及数百名测试人员。提示内容包括自杀方法描述、自残行为模拟和儿童剥削场景。测试对象明确为ChatGPT和Gemini等公开可用模型。Meta官方将此定义为“负责任的安全基准测试”。
这些事实均来自Wired报道及Google核验的两个有效来源。测试规模以“数十万次交互”计算,覆盖2025年至2026年初的时间段。
伦理与执行差距
使用真实未成年形象进行测试,涉及对儿童形象的商业化利用,超出多数AI公司公开的安全红线声明。竞品方指出,这种测试可能构成数据投毒或故意制造负面案例,影响模型后续训练。
从执行角度看,Meta自身安全团队能否在内部复现相同测试结果,未见公开对比数据。成本方面,雇佣海外承包商降低了人力开支,但也引入了跨地域监管差异。
行业趋势影响
该事件显示,AI安全评估正从内部红队转向外部竞品攻防。模型迭代速度加快,过滤规则更新周期从月级缩短到周级。未解决的执行问题包括:如何在不接触真实有害内容的前提下完成测试,以及如何公开测试方法以获得外部验证。
短期内,监管机构可能要求AI公司披露外部测试来源和具体提示类型。长期看,行业需建立统一的安全基准,避免单一公司单方面定义“负责任”标准。
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接