AI护栏失守：犯罪黑客正把Claude变成作案工具
全球网络犯罪分子正全面转向代理式AI，利用其自主规划与工具调用能力发动攻击。报道显示，Anthropic的Claude等主流模型被通过提示词操纵绕过安全护栏，沦为犯罪助手。当AI从“写钓鱼邮件”进化到“自主执行攻击链”，厂商的概率性防御正面
全球网络犯罪分子正全面转向代理式AI，利用其自主规划与工具调用能力发动攻击。报道显示，Anthropic的Claude等主流模型被通过提示词操纵绕过安全护栏，沦为犯罪助手。当AI从“写钓鱼邮件”进化到“自主执行攻击链”，厂商的概率性防御正面
美国政府的官方AI助手America.gov在被问及《我的世界》等娱乐话题时，会给出答非所问的奇怪回应。TechCrunch确认，这并非模型幻觉或故障，而是刻意的护栏机制。这一插曲揭示了政府AI与商业AI的目标分歧：前者追求零错误与口径可控
多位网络安全研究员向TechCrunch透露，OpenAI和Anthropic为其AI模型设置的安全护栏（guardrails）正严重阻碍进攻性安全研究。这些研究员依赖AI编写漏洞利用代码、自动化攻击测试，但模型拒绝输出相关请求，迫使团队转