AI聊天机器人危机应对失灵，专家呼吁开放安全数据

当一个人在深夜向AI聊天机器人倾诉绝望情绪时，它能否给出恰当的回应？不幸的是，现有证据表明，AI聊天机器人在真正的心理危机面前经常“脱靶”。据Ars Technica报道，临床医生和研究人员越来越担忧，当前AI系统缺乏足够的安全保障，尤其是缺乏透明、可审计的安全数据。

危机中的失败

近年来，ChatGPT、Bard等聊天机器人被广泛用于各种场景，包括心理健康支持。一些用户甚至在危机中寻求帮助。然而，多起研究报告显示，AI机器人对“我想自杀”这类表述的回应往往千篇一律，要么只提供求助热线信息，却忽略情绪抚慰；要么给出错误建议，甚至强化负面思维。

“我们正在将没有经过严格临床验证的工具交给最脆弱的人群。”一位研究人员表示。

在另一个案例中，一位失去亲人的用户向AI倾诉悲伤，得到的却是轻描淡写的“不要难过”，这种缺乏共情且公式化的回应，让用户感到更加孤独和无助。尽管各大公司不断强调其模型具备“同理心”，但实际表现远远未达到心理支持的基本要求。

安全数据的黑箱

问题的关键之一在于缺乏透明度。AI公司往往将安全测试数据视为商业机密，不愿公布。临床医生无法监督模型的真实行为，也无法验证其干预是否安全有效。研究人员指出，没有这些数据，外部学者难以评估AI在危机场景中的可靠性，更无法追踪有害输出的模式。

这种不透明性带来严重后果：当AI反复给出危险建议时，公众和监管机构无从知晓。研究只能依赖零散的用户报告或小规模黑盒测试，远远无法形成系统性的安全评估。临床医生和研究者因此呼吁，AI公司应像药物临床试验那样，公布安全数据，包括测试案例、失败模式、缓解措施等。这不仅有助于发现潜在风险，还能为第三方审计提供基础。

行业现状与监管空白

目前，AI聊天机器人并未被归类为医疗设备，因此不受严格的医疗监管。许多产品在宣传时暗示其共情能力，却回避安全责任。行业自律远远不够，一些企业虽然声称设有伦理审查委员会，但具体决策过程从未公开。与此同时，许多AI公司开始聘请专业心理学顾问参与模型调优，但这仍是杯水车薪。

真正的改变需要从设计层面将安全作为第一原则，而非事后修补。伦理学家指出，AI安全不应只是开发者内部的事，还应当接受公众监督和独立验证。在此背景下，建立第三方测试认证体系、设立安全事故报告机制，已经成为越来越多专家的共识。

编者按：透明度与隐私的平衡

要求开放安全数据并非无的放矢。但也要注意，过度公开可能涉及用户隐私或知识产权。可行的方案是：在保护隐私前提下，允许经认证的研究者访问模型日志，进行独立审计；同时发布安全白皮书，告知公众已知限制。

我们期望AI公司能够正视这一责任，迈向一个更开放、更可验证的安全生态。唯有打破黑箱，AI聊天机器人才能真正成为危机中的安全网，而不是又一个危险的错误。

本文编译自Ars Technica