自回归

我们知道，传统上大语言模型主要采用的自回归解码（Autoregressive，AR）方式在低batchsizes时严重受内存限制，你必须为每个生成的token将海量权重从HBM移动到SRAM。

自回归模式（ARMode）：传统的从左到右逐字生成，保留完整的因果注意力机制。

与之相对的是，扩散模型（DiffusionModel）能够提供并行生成的能力，但由于训练时平等对待所有token排列，缺乏自回归模型天然的从左到右的语言先验，历史上它们的生成质量一直落后。

该研究给出了3B、8B、14B三个尺寸的基座模型，展现出了对现有开源自回归模型及扩散模型的全方位碾压。