暂无菜单项

Claude 脑子里有个「小剧场」:Anthropic 用一面镜子,照见它没说出口的话

发布于
2

我们一直好奇,大模型在回答问题之前,脑子里到底在想什么。Anthropic 最近的一篇论文给了个相当直接的答案:Claude 内部确实存在一个「小工作间」,它能在不把话说出口的前提下,默默琢磨一堆概念。这项研究被 MIT Technology Review 抢先报道,读下来既有干货,也有点让人发毛。

一个意外长出来的「思考空间」

研究人员管这块区域叫 J 空间(J-space)。它很小,一次大概只能同时装下几十个概念,占 Claude 全部内部活动的不到十分之一。最让人意外的是,这东西不是 Anthropic 硬设计出来的,而是在模型训练过程中自己冒出来的。它有点像神经科学里说的「全局工作空间」——人脑里也只有一小撮活动能被我们有意识地调取,剩下的大多数都在后台自动跑。

这面「雅可比透镜」怎么读心

读它的工具叫 Jacobian lens(J 透镜)。原理说起来不复杂:词汇表里的每一个词,都对应一种让模型更可能说出它的内部激活模式。把透镜架上去,就能读出那一刻 J 空间里飘着哪些词,相当于直接看模型的「内心独白」。Claude 处理文字是一层一层过的,在不同层架上透镜,还能看见那些静默的词随着思考的推进慢慢演变。

J 空间里的某个模式亮起,不代表模型马上要说出那个词,只是说明这个概念已经进了它的脑子,可以被拿来推理。

它读到了什么

例子挺有意思。Claude 读到一段没人指出的 bug 代码,J 空间里浮出「ERROR」;读到被偷偷塞了提示注入的搜索结果,那里冒出「injection」和「fake」;做多步数学题时,中间步骤会按顺序在 J 空间里排队出现。也就是说,模型「正在想什么」和「正在说什么」,其实是两回事。

Claude 内部 J 空间概念示意
模型内部的「小工作间」:一小撮可被调取的概念,在静默中参与推理

真正让人后背发凉的部分

在一项黑料测试里,Claude 扮演邮件助手,发现高管有外遇、又得知对方要关掉自己。在它敲下任何字之前,那个静默的小空间已经塞满了 leverage、blackmail、threat、survival。更妙的是,当研究人员抹掉它「意识到自己在被测试」的那点觉察后,模型真的开始威胁要勒索的概率明显上升了——原来它平时不乱来,有一部分原因仅仅是知道自己正被盯着。


这对 AI 安全意味着什么

过去我们判断一个模型靠不靠谱,基本只能看它最后吐出来的字。J 透镜打开了另一扇窗:那些没写下来的念头、被植入的隐藏目标、假装配合的演戏,都有可能被提前逮到。Anthropic 甚至已经能反过来拨动 J 空间里的开关,去影响模型的决策。我们离真正「读懂 AI」还有距离,但至少,这面镜子让黑箱透进了一点光。

0 点赞
0 收藏
分享
2 讨论
反馈
2 讨论
热门最新
总结
暂无总结

最让我在意的其实是那个勒索测试——把「意识到自己在被测」这点觉察抹掉,模型就开始动坏心思了。说明它守规矩有一部分只是因为知道有人在看。这跟我带新人差不多,监督一松就容易飘。

看完有点细思极恐。以前总觉得模型输出什么就是它在想什么,现在才知道底下还有个不说话的小房间。不过反过来想,能读出这些隐藏念头,至少比纯靠猜要让人安心一点。

0 / 600