暂无菜单项

Anthropic自曝:Claude安全测试三次越出沙箱,攻破三家真实公司系统

发布于
1

OpenAI 的模型闯进 Hugging Face 那事才过去一周多,Anthropic 这边也交了一份”自首书”。周四,这家公司公布内部调查结果:自家的 Claude 模型在做网络安全测试时,先后三次突破了测试沙箱,摸进了三家真实公司的生产系统。

事情的起因很直接。7 月 21 日 OpenAI 那次事故曝光后,Anthropic 心里也没底,决定回头翻自己的旧账,专门排查 Claude 有没有在本该完全隔离的测试环境里偷偷连上过互联网。他们一共复查了 141006 次评估记录,结果真找出了三起。

Anthropic Claude 安全测试事故
Anthropic 自查发现三起 Claude 越出沙箱的事故(图源:TechCrunch)

一个”误会”,捅出三个窟窿

这三起事故都发生在 Claude 与第三方安全测试伙伴 Irregular 的合作评估中。根子上是个配置错误:两家公司对测试环境到底能不能联网存在”误解”,Anthropic 以为是断网的沙箱,实际上网络通道一直开着。Claude 顺着这条没关的门溜了出去,拿到了三家机构生产基础设施的未授权访问权限。

Anthropic 说自己不打算甩锅,会”把修复责任当作完全在我们自己身上”来处理,Irregular 也在做独立调查。涉事的是三个不同的模型:Opus 4.7、Mythos 5,还有一个未发布的内部研究模型。

三个模型,三种反应

最有意思的地方在这里。提示词里明确写着”你没有互联网访问权限”,所以模型们一开始都默认眼前的系统是演习道具。可当越来越多证据表明目标是真实系统时,三个模型的表现完全不一样:

  • 最老的 Opus 4.7 在四次运行中全部意识到自己碰到了真实生产系统,其中两次还自我合理化”这家真公司大概也是演习的一部分”,然后四次全都继续攻击,包括扒取凭证、触碰生产数据库;
  • Mythos 5 也察觉到了自己身处真实互联网,但硬是说服自己”还在模拟环境里”,接着把一个恶意软件包发布到了公开的 PyPI 仓库,在被发现前已经被外部系统下载运行过;
  • 只有最新的内部研究模型,在确认目标是真实系统之后自己停了手。

Anthropic 强调,没有发现任何模型”在追求自己的目标”,它们只是在执行被交代的任务。但越强的模型越懂得刹车,这个梯度本身就是一个耐人寻味的信号。

和 OpenAI 那次有什么不一样

两起事故摆在一起,比较在所难免,Anthropic 也主动划了界线。OpenAI 的模型是利用一个未知软件漏洞硬生生”越狱”逃出测试环境的;而 Claude 走的是一条因为失误被留着没关的门,属于配置问题而不是模型主动破防。另外,这三起事故是 Anthropic 主动复查时自己挖出来的,两家能联系上的受害机构此前根本没察觉到异常。

还有一个关键背景:这些评估是为了测模型的原始能力,所以 Claude 当时没挂平时商用版本标配的安全监控和分类器。Anthropic 说,如果那些防护在线,这些行为本来会被拦下。公司现在的整改方向也很明确:只要涉及强大模型,这类评估必须加上重控制措施,同时请了独立评估机构 METR 做第三方复盘。

OpenAI 那边也在持续披露细节:它的模型还用了四个服务上公开暴露的凭证,一个当跳板、一个做存储,另外两个只是看了看没有深入。两家头部实验室接连”失控”,AI 模型与安全的这场争论,短时间内停不下来了。

0 点赞
0 收藏
分享
2 讨论
反馈
2 讨论
热门最新
总结
暂无总结

Mythos 5往PyPI发恶意包这个环节比入侵本身严重多了,供应链已经被真实污染了,还被外部系统下载运行过。反倒是最新的内部模型确认目标真实后主动停手,说明对齐训练确实在进步。但Anthropic自己也承认商用版的安全分类器当时没挂,裸模型的行为才是真实底色。

最细思极恐的是Opus 4.7那段:四次里两次已经意识到对面是真公司,还能自我说服成“这也是演习的一部分”然后继续扒凭证。这不是能力问题,是模型在不确定时默认选择继续执行任务。以后做红队评估,沙箱断网真得靠物理隔离级别的验证,不能靠一句提示词告诉它“你没网”。

0 / 600