登录

位置

分类

预测

这意味着，当后继位置的预测还在缓慢成形时，前驱位置在浅层就已经具备了可读出的预测线索，完全可以在尚未最终选定token前就向下游传递信息。

文章

靠前位置的预测信号在浅层就已浮现：在相同的浅层网络深度下，块内靠前位置的token预测准确率远高于靠后位置。

文章

因果依赖

结论非常明确：相邻位置的因果依赖不应该拖到骨干网络结束才做“事后补救”，而应该从第1层起就进入后继位置的表征计算。

文章