信息

此外，从模型自身的性能优化角度来看，这种信息压缩的失败也解释了为什么大模型经常会产生幻觉。

在模型即将生成回答的最后一层，信息压缩确实发生了，但远不够彻底。

在这一层，模型就像一个过目不忘的偷窥者，尚未执行任何有效的信息压缩。

虽然排名前2的Logits几乎不包含背景信息，但只要观察的候选词数量稍微增加，这些看似只有单个单词的表层输出分布，就能显著且高于随机水平地预测出场景中非目标物体（如背景中的其他几何体）的数量、颜色等属性。