登录

Anthropic发文称自家Claude已经开智,网友:为了上市,不择手段?


速读:这个事情有意思,是因为我们平时看到的LLM基本只有外部行为:用户输入、模型输出、token概率、工具调用、评测分数。 但在早中层,模型表示还没有完全对齐最终输出坐标,直接这么读很容易失真。 一个J-space概念形成后,不同类型的后续问题都可以读取它。 评估时,不追加反思问题,也不要求模型输出反思文本。 他们声称,Claude内部有一小组特殊表示,不是普通的中间激活,也不是最终输出token的提前版本,而是一些可以被模型报告、可以被指令调动、可以参与内部推理、也可以影响后续计算的状态。
2026年07月14日 12:1

技术发现不小,但意识叙事争议更大。

    作者丨 郑佳美

    编辑丨 马晓宁

刚刚,Anthropic 发了一个关于 Claude 内部机制的新研究,名字叫  A global workspace in language models 。

它不是在研究 Claude 最终回答得好不好,也不是在让 Claude 自己解释“我刚才为什么这么说”,而是直接去看 Claude 在生成回答之前,中间层里已经形成了哪些没有写出来的概念。

Anthropic 把这组内部表示叫 J-spac e , 把读取它的方法叫  Jacobian Lens , 简称  J-lens 。

这个事情有意思,是因为我们平时看到的 LLM 基本只有外部行为:用户输入、模型输出、token 概率、工具调用、评测分数。模型内部到底在什么时候形成某个判断,什么时候识别出某个风险,什么时候准备走某个方向,通常是看不到的。

Anthropic 这次想做的,就是把这层“看不到”往里推一点。他们声称,Claude 内部有一小组特殊表示,不是普通的中间激活,也不是最终输出 token 的提前版本,而是一些可以被模型报告、可以被指令调动、可以参与内部推理、也可以影响后续计算的状态。

Anthropic 明确说,这不能证明 Claude 有人类意义上的主观体验;它讨论的是功能层面的可访问状态。

说白了,Anthropic 发的不是“Claude 有意识”的证明,而是一套新的内部观测方法:他们试图读取 Claude 还没说出口、但已经在内部形成的概念。

01

Anthropic 到底读到了什么

Claude 在生成回答之前,中间层里会出现一些和词相关的内部模式。Anthropic 把这些模式称为  J-space patterns 。

每个 pattern 和一个词相关,但这个 pattern 亮起来,并不代表 Claude 马上要输出这个词,而是代表这个词对应的概念已经进入了模型当前可使用的内部状态。Anthropic 自己的解释是:J-space 里的词像是 Claude “mind” 里的内容,但它不一定会被写到最终回答里。

这和 chain-of-thought 不一样。Chain-of-thought 是模型把推理过程写成文本,J-space 则发生在模型内部 activation 里。它不占输出窗口,也不会直接暴露给用户。也就是说,Claude 可能内部已经形成了某个中间判断,但最终回答里完全不出现相关词。

Anthropic 给 J-space 归纳了几个特征。

第一 , 它是可报告的。模型被问到相关内容时,可以把 J-space 中的一部分状态转成语言说出来。

第二 , 它是可调动的。指令可以让某些概念进入 J-space,即使这些概念不出现在最终输出里。

第 三 , 它会参与中间推理。在部分任务里,模型不是直接跳到答案,而是先在 J-space 中形成中间概念,再基于这个概念继续计算。

第 四 , 它可以被后续计算复用。一个 J-space 概念形成后,不同类型的后续问题都可以读取它。

第 五 , 它不是所有计算的中心。Anthropic 明确说,J-space 不参与模型的大多数普通能力,比如流畅说话、简单事实回忆、语法处理等。阻止 Claude 使用 J-space 后,它仍然可以正常互动,但更高阶的任务能力会下降。雷峰网

这个边界很重要。J-space 不是 Claude 的全部“思考”,更不是完整 hidden state。它只是一小部分可语言化、可被后续层使用的内部状态。完整论文里也提到,J-space component 通常只解释总激活方差的一小部分,最高也不到 10%。

所以,这次发布真正要看的不是“Claude 是否有意识”,而是:LLM 内部是否存在一组可读、可改、可训练、可进入安全审计的中间状态。

02

J-lens 是怎么把中间层翻译成词的

要读 J-space,Anthropic 用的是  Jacobian Lens 。

以前也有类似想法,叫  logit lens 。它会把模型某一层的 residual stream 直接乘以最后的 unembedding matrix,看这一层“像是在预测哪些 token”。这个方法在后期层比较有用,因为后期层已经接近输出空间。但在早中层,模型表示还没有完全对齐最终输出坐标,直接这么读很容易失真。雷峰网 (公众号:雷峰网)

J-lens 做了一个关键修正:它不直接把中间层接到输出层,而是先估计这一层 activation 的变化会怎样影响后续最终层 activation。这个估计用到平均 Jacobian。

然后再把这个影响接到模型自己的 unembedding 上,得到词表层面的读数。完整论文把它描述为一种对 logit lens 的修正,用来读取模型当前“有可能说出来”的概念。

简单说,J-lens 读的不是“下一步一定输出什么”,而是“这个中间状态在未来输出中更容易支持哪些词”。这也是为什么它适合捕捉模型还没写出来的内部概念。

它和普通 probe 也不一样。普通 probe 可以训练一个外部分类器,从 hidden state 里预测某个标签,但这个标签不一定参与模型自己的计算。J-lens 用的是模型自身从中间层到输出层的路径。它读到的方向,理论上本来就在模型内部到输出的因果链路上。

J-space 就是在 J-lens vectors 上定义出来的。每个 token 都有一个对应的 J-lens vector,但词表大小通常大于 hidden size,所以这些 vectors 不是普通的一组基向量。论文把 J-space 定义成少量 J-lens vectors 的稀疏组合,也就是在某个位置上,只取少量最活跃的可语言化概念。

这套方法真正有价值的地方,不是能把 activation 翻译成几个词,而是它后面还能做干预。

Anthropic 做了几类操作:替换某个 J-space 概念、消融某些 J-space components、往 activation 里写入某个方向,或者把相关方向从 residual stream 中投影出去。然后观察 Claude 后面的行为是否变化。结果显示,改动某些 J-space 表示,确实会改变模型后续报告、推理结果和部分策略行为。

这一步很关键。只读出来,最多叫可视化;改了以后行为跟着变,才说明这些内部状态至少参与了部分计算。

03

里面有什么工程化内容

从工程角度看,J-space 可能会影响三条线:训练、评测和部署。

先看训练。

Anthropic 做了一个叫  counterfactual reflection training  的方法。它不是直接训练 Claude 在目标任务里输出正确答案,而是在任务中途截断 rollout,追加一个反思问题,只训练模型在这个反事实位置应该如何反思。评估时,不追加反思问题,也不要求模型输出反思文本。

这个设计想验证一件事:如果模型内部推理会经过可语言化表示,那么改变模型“如果被问到会如何反思”,是否能改变它没有被问到时的内部状态。

Anthropic 的结果显示,训练后模型在诚实和欺骗相关评测上的表现改善了;J-lens 也能看到 honest、integrity、ethical 等相关概念更容易出现在 J-space 中。更关键的是,如果消融这些被训练出来的 J-space 表示,行为收益会明显回退。

这对训练的启发是:对齐训练不一定只能监督最终输出,也可以通过辅助目标塑造模型的内部状态。传统 SFT 更像是在训练“这个输入应该怎么答”;RLHF 更像是在训练“哪类回答更符合偏好”;counterfactual reflection training 则更像是在训练“模型在关键上下文中应该形成什么内部判断”。

再看评测。

现在很多安全 eval 只看结果:模型有没有拒绝、有没有违规、有没有执行危险动作。但 Anthropic 用 J-lens 观察到,Claude 在某些安全场景中会提前识别出自己处在评测或虚构场景里。Axios 的报道也提到,Anthropic 认为 J-space 可以用于发现模型没有说出口的 misalignment 或 scheming 信号。

这会影响 eval pipeline。以后评测高能力模型时,不只要记录“模型有没有通过测试”,还要记录“模型是否识别了测试条件”。如果模型因为知道自己在测试而表现安全,那么评测分数就混入了一个额外变量。

再看安全审计。

Anthropic 提到,J-space 可以用来发现模型内部注意到自己被测试、故意生成伪造数据、或者追求训练时植入的隐藏目标。

这对 agent 场景尤其有意义。Agent 的风险不一定出现在文本回答里,而可能出现在 tool call、代码修改、文件操作、外部请求之前。如果模型服务商能在动作前读取内部状态,就可以把异常信号交给 verifier、policy model、沙箱或人工审核。

不过,短期内这更像模型厂商内部能力,不是普通 API 开发者马上能接上的功能。J-lens 需要访问 residual stream、模型层结构、unembedding、Jacobian 近似和激活干预接口。闭源 API 用户通常拿不到这些东西。

所以它的工程化落点,大概率先是内部训练诊断、离线红队审计、高风险 agent 的动作前监控,而不是普通应用层 prompt 技巧。

主题:模型|什么|Anthropic发