律师引用AI编造证词被罚：我不知道AI会幻觉

又一起“AI幻觉”引发的法律事故。据Ars Technica报道，美国新墨西哥州一名辩护律师因在法庭文书中引用由ChatGPT编造的证人证言，被法院施以惩戒。令人唏嘘的是，这位律师给出的解释相当直白：“我不知道AI会编造事实。”

“I didn't know that AI could hallucinate facts.”
——新墨西哥州辩护律师在回应惩戒时的说法

事件经过：凭空出现的“证人”

按照报道披露的脉络，这名辩护律师在处理案件时借助ChatGPT梳理法律论点与证据材料。问题出在他把AI生成的内容直接搬进了正式提交给法院的文书里——其中包括若干“证人”的陈述。这些证人并不存在，相关证词也从未在案卷中出现过，完全是模型根据上下文“合理推测”出来的产物。

法官在审阅文书时发现了异常：这些引述既无法在证据清单中找到出处，也无法与任何真实的庭审记录对应。当被要求说明来源时，律师承认相关内容来自ChatGPT，而他本人并未逐条核实。法院最终认定其行为构成对法庭的不当陈述，对其作出惩戒处理。

这一情节之所以引发关注，不仅因为它是“AI闯祸”的又一案例，更因为它发生在刑事诉讼的辩护环节——在这里，事实认定的准确性直接关系到一个人的自由乃至生命。

“幻觉”不是故障，而是机制的一部分

律师口中的“幻觉”（hallucination），在技术圈早已是常识。大语言模型本质上是基于概率的文本生成系统，它的目标是产出“看起来最合理”的下一个词，而不是检索并验证事实。当模型缺乏确切知识时，它往往会顺着语言惯性编造出细节完整、语气笃定的内容——包括不存在的判例、法条、论文和证人。

对普通用户而言，这可能只是一次尴尬的错误；但在法律场景中，它意味着灾难性的风险。法庭文书具有法律效力，虚假陈述可能构成对法庭的欺诈，轻则被训诫、罚款，重则影响执业资格，甚至牵连当事人的案件结果。

这已经不是第一次了

过去几年，全球已出现多起律师因AI幻觉“翻车”的案例。2023年，纽约一名律师在飞行事故诉讼中引用了ChatGPT编造的六个判例，被法院罚款并公开道歉，成为标志性事件。此后，类似情况在多个司法辖区反复上演：有的律师引用了不存在的判决，有的提交了伪造的引注，还有的在使用AI整理证据时把推测当成事实。

这些案例呈现出一个共性：出问题的往往不是AI本身，而是使用者的“未经核实”。许多律师把聊天机器人当成了检索工具或助理，却忽略了它并不具备可靠的溯源能力。

司法系统正在收紧规则

面对AI的快速渗透，各国司法机构开始陆续出台指引。常见的做法包括：

第一，披露义务。要求律师在使用生成式AI辅助撰写文书时，向法庭说明使用范围与验证方式。第二，人工核验义务。任何由AI提供的引注、判例、证词，都必须回到原始卷宗或权威数据库逐条比对。第三，责任归属。无论内容由谁生成，署名的执业律师始终对文书内容负最终责任——“AI说的”不构成免责理由。

一些法院还要求提交带有AI使用声明的文书模板，部分州律师协会则把AI素养纳入继续教育课程。趋势很明确：技术可以用，但责任不能转移。

编者按：工具无罪，失职有责

把责任全部推给AI并不公平，也不现实。大语言模型的能力边界已经被反复讨论，一个执业律师理应对其工具有基本的了解——尤其是当这个工具的输出会直接影响他人的法律权益时。

这起事件的真正教训或许在于：AI在专业领域的价值，取决于使用者是否建立了与之匹配的验证流程。把AI当作“初稿生成器”和“思路激发器”是合理的；把它当作“事实来源”则是危险的。在法律、医疗、新闻、金融等高风险行业，AI可以加速工作，但不能替代核实。

对律所而言，更务实的做法是建立内部规范：明确哪些环节可以使用AI、哪些内容必须人工复核、由谁签字负责。对个人从业者而言，最朴素的一条原则依然适用——凡是写进正式文件的事实性陈述，都必须能指向一个可以查证的真实来源。

那位新墨西哥州律师说，他不知道AI会幻觉。但在今天的执业环境中，“不知道”本身，或许就是最需要被纠正的问题。

本文编译自Ars Technica。