AI安全相关AI资讯 | 赢政天下 AI

微软揭秘：无需触发器即可检测AI潜伏后门

微软研究员推出创新扫描方法，可在不知触发器或预期结果的情况下识别中毒AI模型。针对开放权重大语言模型的供应链漏洞，独特内存泄漏和注意力模式暴露'潜伏特工'威胁。这些后门模型在激活前保持休眠，潜在风险巨大。该技术为企业集成开源LLM提供安全保

随着AI系统日益强大，Anthropic公司的驻厂哲学家表示，该初创企业正押注Claude模型本身能够习得避免灾难所需的智慧。这篇文章探讨了AI安全领域的最新进展，Anthropic如何通过独特的方法应对存在风险（x-risk），并质疑Cl

渗透测试始终用于模拟动机攻击者针对真实系统的行为。过去，通过有限范围的测试在相对稳定的环境中获取答案。但如今，基础设施快速演变、访问模型复杂化，大部分暴露源于应用代码或配置错误。AI渗透测试公司应运而生，利用机器学习自动化漏洞发现、智能攻击

随着AI系统日益强大，Anthropic公司的驻场哲学家表示，这家初创企业正押注Claude模型本身能够习得避免灾难所需的智慧。文章探讨了AI安全领域的最新进展，Anthropic如何通过独特的安全机制，让Claude成为对抗潜在AI末日的

在科技巨头中，思科作为行业领导者，正积极推进AI在内部运营和全球客户工具中的部署。作为一家覆盖IT栈全领域的巨头，其业务涵盖基础设施、服务、安全等领域。思科通过AI驱动的智能系统，提升运营效率、强化网络安全，并为客户提供可扩展的AI解决方案

继系列前文探讨首例AI主导间谍行动中提示级控制的失败后，本文提供解决方案。面对董事会关于‘代理风险’的质询，每位CEO都需要明确应对策略。文章从代理系统的兴起入手，剖析护栏机制的局限，转向全面治理框架，包括风险评估、组织架构、审计工具和技术

德勤最新报告发出警告：企业部署AI代理的速度远超安全协议跟进步伐，导致安全、数据隐私和责任归属问题日益严峻。调查显示，代理式AI系统从试点迅速转向生产环境，传统风险控制难以应对。报告呼吁企业加强治理框架，以防范潜在风险。AI代理作为自主决策