测试时训练

整个测试时训练计算过程的计算复杂度正比于内部模型的计算复杂度。

这是测试时训练范式的一个重要优势，即在外部模型尺寸固定的条件下，我们可以通过简单地扩展内部模型尺寸来实现更好的序列建模效果。

ViT³：视觉测试时训练模型

为此，本文在视觉领域系统性地研究了测试时训练模型的构建和效果。

因此，测试时训练模型正是尝试在序列建模任务上再次套用深度学习的成功。

如前所述，测试时训练模型在每个Block内部包含一次小的“深度学习”，具有极高的设计自由度。

如图1（c）所示，测试时训练模型尝试将key和value的信息压缩到一个小的内部模型中，这个内部模型的结构几乎是任意的。

然而，TTT灵活的设计空间是一把双刃剑：当前测试时训练模型缺少系统性的理解和设计原则，如何从丰富的设计空间中构建一个理想的视觉TTT模型、如何实现进一步提升，都是目前极具挑战的问题。

这一结果验证了ViT³设计的有效性，同时凸显了测试时训练模型在高效、可扩展的线性复杂度视觉序列建模领域的突出潜力。

为此，本文在视觉领域系统性地研究了测试时训练模型的构建和效果。