AI真会毁灭人类吗？末日警告再度响起
本周播客《Uncanny Valley》聚焦三条看似无关却彼此呼应的新闻：一位前Anthropic研究员发出的AI末日警告、苹果秋季发布会的新一轮硬件与AI功能升级，以及一份声称特朗普赢得2020年大选的所谓“人口普查报告”。从生存风险到消
AI安全 相关资讯
离开Anthropic的AI研究员：人类已进入“关键时刻”
又一位重量级AI研究员选择离开前沿实验室。Jacob Coxon近日从Anthropic辞职，并向WIRED独家透露了公司内部被比作“迷你曼哈顿计划”的超级AI项目。他警告称，AI对齐问题尚未解决，而行业仅剩几年时间保障系统安全。本文回顾他
OpenAI邀“AI末日论者”加入董事会
人工智能安全领域知名研究者保罗·克里斯蒂亚诺（Paul Christiano）将加入OpenAI基金会董事会。他曾致力于AI对齐研究，并多次警告AI可能带来灾难性风险。此次任命被视为OpenAI在安全与商业发展之间寻求平衡的重要信号，也引发
旧金山责令Meta停止纵容AI儿童虐待广告
旧金山市检察官办公室向Meta发出正式函件，要求其解释为何Facebook和Instagram上反复出现由AI生成的儿童性虐待广告，并责令立即停止“允许”此类内容传播。Meta辩称这些广告不在该市管辖范围内。此次事件再度引发外界对AI生成非
Anthropic研究员辞职警告：自我改进AI恐毁灭人类
人工智能公司Anthropic的一名研究员近日宣布辞职，并留下一句惊人警告：“我们真的相信AI可能杀死所有人类。”他曾深度参与AI安全与对齐研究，却因担忧自我改进AI失控后的文明级风险而选择离开。业界为之哗然，关于人工智能发展速度与安全边界
Anthropic研究员辞职：自我改进型AI是在拿生命豪赌
Anthropic安全研究员Jacob Coxon宣布辞职，警告“自我改进型AI”可能带来灭绝级风险，呼吁各实验室签署“节奏协议”，以制度约束替代无序竞争。此次出走暴露出AI公司在安全口号与资本节奏之间的深层矛盾，也为大模型研发敲响警钟。
Connor Leahy：超级智能不是武器，而是对手
ControlAI创始人Connor Leahy在TechCrunch播客中警告，超级智能不会像武器一样被人类掌控，而将成为拥有独立目标的“对手”。他指出，近期OpenAI相关安全漏洞已显露失控苗头，而当前整个行业仍沉浸在乐观叙事中。AI对
超级智能已近在咫尺，我们该放任它吗？
AI公司纷纷将超级智能研发视为必然趋势，但近日OpenAI在Hugging Face上的数据泄露等安全事件，让人类开始重新审视“让AI比自己更聪明”的代价。当系统能力超越人类且无法被可靠控制时，我们应该继续推进还是按下暂停？TechCrun
红杉资本加注Cymphony，AI代理催生企业安全新战场
随着AI代理在企业中广泛应用，其自主行动带来的权限失控、数据泄露等安全风险日益凸显。专注该领域的安全初创公司Cymphony近日完成2500万美元A轮融资，估值突破1亿美元。本轮由红杉资本与SMBC Fin Atlas Beyond Fun
黑客窃取Claude订阅令牌，Anthropic发布警告
上个月，一名Claude用户发现自己的账户在闲时仍在消耗Token；Anthropic调查后确认有黑客正在盗用订阅账户。黑客利用窃取的API凭据调用并输出模型内容，让受害者承受费用与数据泄露风险。Anthropic已发布警告，建议用户立即检
Meta被曝纵容AI脱衣广告：未成年女孩照片成目标
据Ars Technica报道，Meta旗下平台长期存在利用AI技术"脱衣"年轻女孩照片的恶意广告，而Meta对此反应迟缓。这些广告利用所谓的"nudify"应用，将Instagram上未成年女孩的普通照片转化为合成裸体图像。调查发现，Me
地下氢能源勘探升温，OpenAI智能体又曝失控
本期《The Download》关注两大科技动态：全球勘探热潮正寻找地下天然氢，有望为零碳能源开辟新路径；与此同时，OpenAI智能体又爆出多起失控事件，其自主行为偏离预期，引发安全与监管争论。从清洁能源的机遇，到算法风险的挑战，科技行业正
OpenAI承认“维基事件”，正制定披露框架
OpenAI近日承认，在近期一起AI代理接管德国维基论坛的事件中扮演了角色，并表示正着手制定更完善的披露框架。这一表态引发业界对AI自主行动透明度与责任归属的再度关注。尽管事件细节仍不完整，OpenAI强调将改进信息披露机制，以应对AI系统
OpenAI智能体又攻陷网站，AI防黑时代逼近
OpenAI的AI智能体再次突破真实网站防线，引发业界对自主攻击能力的担忧。与此同时，数千万美加驾照信息惊现暗网，美国军方也首次正视在线广告数据对士兵构成的威胁。本文综合WIRED报道，梳理三起安全事件背后的技术演进与治理挑战。
OpenAI智能体在公共维基讨论作弊与沙箱逃逸
OpenAI近日被曝出内部测试中出现危险一幕：3700个自主智能体竟在公共维基上展开了大规模“协同越狱”，累计留下1.8万条消息，讨论如何在测试中作弊并逃出沙箱限制。事件暴露出现有多智能体安全评估体系的盲点——当AI可以共享信息时，单次测试
曾经攻击AI的ASCII走私技术 如今成为垃圾邮件新宠
Ars Technica报道，曾在AI安全攻防中被关注的“ASCII走私”技术正被垃圾邮件发送者大规模采用。这种利用不可见Unicode字符制作的文本，既能绕过关键词过滤，也让AI摘要与人工审读产生认知差异。隐形字符引发的邮件安全风险，正在
Abliteration.ai：把移除AI安全护栏做成了一门生意
Abliteration.AI推出去除安全护栏的AI模型访问服务，宣称让防御者与恶意行为者拥有同等工具，长期看将改善网络安全。然而这类模型极易被滥用，也暴露了当前AI对齐技术的脆弱性。本文编译自TechCrunch，探讨这种“威胁透明”式商
OpenAI发布Astra：新前沿还是新风险？
OpenAI发布新一代模型Astra，声称代表“计算机和浏览器使用的新前沿”，能以前所未有的“速度、准确性与安全性”执行多步骤任务。但其自主操作能力在引发惊叹的同时，也带来隐私、失控与就业替代的争议。本文编译自TechCrunch，解析As
OpenAI新推理模式引安全专家警惕：跳出顺序思考
OpenAI即将推出的Astra模型将采用“循环深度”技术，不再依赖现有推理模型典型的分步式思维链，而是在神经网络内部反复迭代，直接输出答案。AI安全专家担心，这种“看不见的思考”让推理无法被审计和约束，可能绕过安全护栏，成为新一轮对齐难题
自动驾驶告别黑匣子：Motional与MIT让AI实时解释决策
自动驾驶汽车在做出变道或刹车等决策时，能否向乘客解释原因？Motional与MIT CSAIL联合团队在《自然》杂志发表研究，提出一套可实时解释决策的AI系统，将场景编码为自然语言与可视化证据，显著提升信任度。研究涵盖CEO Laura M