J-space
分类
记录
换句话说,J-space记录的是推理过程中被反复调用的中间概念,而不只是对最终输出的预测。
文章
表示
更关键的是,如果消融这些被训练出来的J-space表示,行为收益会明显回退。
文章
结果显示,改动某些J-space表示,确实会改变模型后续报告、推理结果和部分策略行为。
文章
概念
一个J-space概念形成后,不同类型的后续问题都可以读取它。
文章
Anthropic做了几类操作:替换某个J-space概念、消融某些J-spacecomponents、往activation里写入某个方向,或者把相关方向从residualstream中投影出去。
文章