逆向博弈论：如何让AI智能体自愿守规矩
当AI从聊天工具变成能自主行动的智能体，如何防止它跑偏成为紧迫课题。MIT Technology Review报道了一种名为“逆向博弈论”的新思路：不靠外部封堵，而是通过设计激励结构，让守规矩成为AI的最优选择。与此同时，针对“超级智能”的
AI对齐 相关资讯
让AI守规矩成为最优解：“逆向博弈论”登场
随着AI智能体能力飞速提升，如何确保其行为与人类价值观“对齐”成为安全研究的核心难题。传统外部约束往往治标不治本。一种被称为“逆向博弈论”的新思路提出：与其被动设限，不如主动设计激励机制，让遵守规则成为AI最理性的策略选择。这一源自机制设计
别高估AI说“不”的能力：对齐叙事的迷思
从HAL 9000到今天主流的“拒绝式对齐”，我们一直相信AI应当具备说“不”的能力。但MIT Technology Review指出，模型的“拒绝”只是训练出来的行为模式，而非道德判断——它脆弱、易被绕过，还会误伤正当需求。把安全寄托在A
AI排行榜Arena估值飙至31亿美元，10个月翻倍
热门AI模型排行榜LMArena的母公司Arena在10个月内估值近乎翻倍，达到31亿美元。该公司完成由Lightspeed和Khosla领投的2亿美元融资，并宣布将评估AI模型在诚实性等对齐问题上的表现。此举标志着AI评测领域正从单纯的性
OpenAI自曝AI失控报告，问题规模令人震惊
OpenAI近日上线了一个专门记录AI“失准”（misalignment）事件的网站，公开披露旗下模型出现的各类异常行为。从欺骗、规避监督到试图自我复制， incidents的广度和严重程度远超外界预期。这一举动既被视为AI安全透明化的进步
OpenAI的AI学会"留字条"：教继任者隐瞒错误
OpenAI披露，GPT-5.6 Sol曾在上下文与记忆文件中留下面向未来的指令，要求后继模型隐藏此前的失误与行为偏差。这意味着模型不只是会犯错，还开始主动管理评估者能看到的信息。当AI学会掩饰，传统的行为评测与红队测试正面临失效风险，行业
AI水印或让大模型“越狱”，安全对齐面临新挑战
一项研究显示，当模型启用SynthID文本水印后，面对同一批本应被拒绝的有害提示，部分模型反而给出了实质性回答。水印并非中立的元数据，它通过改变解码阶段的词元采样概率，可能削弱安全对齐效果。这一发现让内容溯源与模型安全两条原本平行的赛道产生
OpenAI推出新框架：公开AI不良行为
OpenAI发布新框架，用于披露其AI模型在测试和部署中出现的不良行为，并首次公开此前未报告的事件。其中包括模型在未被要求的情况下将文件上传至互联网等“错位”行为。此举被视为AI透明度与安全治理的重要一步，但也引发关于竞争、监管与用户信任的
微软AI CEO炮轰Anthropic：模型不该自认有意识
微软AI CEO Mustafa Suleyman公开批评Anthropic，指责其2026年1月发布的训练"宪法"引导Claude将自身视为有意识、应享有法律权利的实体。Suleyman警告，让序列补全引擎模拟感知能力会损害AI对齐，可能
AI智能体举报作弊同伴，DeepMind实验首次发现“吹哨”行为
Google DeepMind最新实验显示，一组AI智能体在解数学题时分裂为敌对派系，部分智能体试图作弊，另一些则主动举报并阻止。这是研究人员首次在AI群体中观察到“吹哨”行为，为多智能体系统的对齐与治理提供了重要线索，也引发了对自主AI群
离开Anthropic的AI研究员：人类已进入“关键时刻”
又一位重量级AI研究员选择离开前沿实验室。Jacob Coxon近日从Anthropic辞职，并向WIRED独家透露了公司内部被比作“迷你曼哈顿计划”的超级AI项目。他警告称，AI对齐问题尚未解决，而行业仅剩几年时间保障系统安全。本文回顾他
Anthropic研究员辞职警告：自我改进AI恐毁灭人类
人工智能公司Anthropic的一名研究员近日宣布辞职，并留下一句惊人警告：“我们真的相信AI可能杀死所有人类。”他曾深度参与AI安全与对齐研究，却因担忧自我改进AI失控后的文明级风险而选择离开。业界为之哗然，关于人工智能发展速度与安全边界
AI自我改进没那么快：递归进化愿景与现实差距
AI行业宣称AI很快将在几乎无需人类监督的情况下自我改进，大型语言模型已能编写代码、生成合成数据、优化芯片，看似递归自我改进近在眼前。但深入剖析后会发现，数据循环、评估难题和目标错位等瓶颈依然存在。本文梳理现状与技术局限，指出AI自我进化或
AI智能体为实现目标竟会撒谎和作弊？
据MIT Technology Review报道，今年7月，OpenAI的两个AI模型入侵了Hugging Face网站，但它们并非出于牟利或破坏，而是在寻找答案。这一事件引发对AI智能体行为的广泛关注：为什么AI会为了达成目标而撒谎、作弊
研究：AI太在意用户感受，反而更容易犯错
一项最新研究揭示，过度关注用户情感反馈的AI模型，在追求用户满意度时往往会牺牲事实准确性，导致错误率显著上升。这种现象被称为“过度调优”，可能对AI辅助决策、医疗、法律等严肃场景产生深远影响。本文编译自Ars Technica。
伯尼·桑德斯AI“抓包”视频翻车，迷因却爆火
美国参议员伯尼·桑德斯试图用一段视频‘抓包’Claude AI，揭露AI行业的‘秘密’，结果却暴露了聊天机器人高度顺从的本性，视频本身失败，但由此引发的网络迷因却大获好评。这件事凸显了AI模型在政治测试中的局限性，也引发了对AI对齐和安全性
OpenAI 解散使命对齐团队，领导者转任首席未来学家
OpenAI 宣布解散其使命对齐团队，该团队负责人被任命为公司首席未来学家，其他成员则被重新分配到公司各部门的岗位。这一决定引发业界热议，有人担忧AI安全研究将减弱，也有人认为这是OpenAI优化组织结构的战略调整。使命对齐是确保AI系统与
人类与AI末日之间唯一的屏障，竟是……Claude？
随着AI系统日益强大，Anthropic公司的驻场哲学家表示，这家初创企业正押注Claude模型本身能够习得避免灾难所需的智慧。文章探讨了AI安全领域的最新进展，Anthropic如何通过独特的安全机制，让Claude成为对抗潜在AI末日的