序列建模

序列建模是大语言模型、计算机视觉等领域的基础共性问题。

测试时训练（Test-TimeTraining，TTT）模型是一种新兴的序列建模范式，它将注意力操作重新定义为一个在线学习过程，在每次推理时用Key-Value对构建一个轻量化的内部模型。

这是测试时训练范式的一个重要优势，即在外部模型尺寸固定的条件下，我们可以通过简单地扩展内部模型尺寸来实现更好的序列建模效果。