登录

全注意力

效果

麻烦在于标准全注意力的计算量随上下文长度平方增长，扩大十倍计算量可能增加一百倍，到百万Token级别训练和推理成本都高得吓人。

文章