登录

线性注意力


分类

计算

,进而把query输入这个线性模型,实现线性注意力计算。
文章

空间

因此,线性注意力的空间和计算复杂度都显著低于不压缩的Softmax注意力。
文章