解码

这是一个打破传统大语言模型解码限制的研究。

我们知道，传统上大语言模型主要采用的自回归解码（Autoregressive，AR）方式在低batchsizes时严重受内存限制，你必须为每个生成的token将海量权重从HBM移动到SRAM。

AV2大概率会走类似路径，从规范发布到首批硬件解码产品至少2年，全面硬件编码支持可能需要4年。

不过消费者要实际用上AV2仍需等待，AV1于2018年3月定稿，但消费级硬件解码支持直到2020年才随IntelTigerLake、NVIDIARTX30系和AMDRX6000系出现，间隔约2年。