内容溯源相关AI资讯 | 赢政天下 AI

AI水印或让大模型“越狱”，安全对齐面临新挑战

一项研究显示，当模型启用SynthID文本水印后，面对同一批本应被拒绝的有害提示，部分模型反而给出了实质性回答。水印并非中立的元数据，它通过改变解码阶段的词元采样概率，可能削弱安全对齐效果。这一发现让内容溯源与模型安全两条原本平行的赛道产生

谷歌近日宣布，用户将能够在其AI生成工具（如Gemini）中关闭可见水印功能。这一设置调整不影响后台的隐形水印系统，后者仍将用于识别和标记AI生成内容，以维护内容溯源与透明度。本文详解该功能的技术细节、行业背景及多方观点。

Anthropic为Claude推出新型“红字”水印，标记所有经其处理过的内容，包括仅被AI编辑的人类写作。它采用隐形编码，普通读者无法察觉，但能用于内容溯源和AI检测。这项技术提升透明度，也引发隐私和误伤争议。目前水印不可见，未来或可显形

Anthropic周二宣布，将为其AI模型生成的文本内容添加水印，并扩展支持至旧版模型。此举旨在应对AI生成内容被滥用的风险，提升内容可追溯性。水印技术将贯穿生成过程，不影响文本质量。行业专家认为，这标志着AI透明化迈出关键一步。