登录

稀疏注意力


分类

思路

稀疏注意力的思路是分工:先由一个轻量的「索引器」(indexer)为每个query挑出k个最相关的key,再让真正的注意力只在这k个key上计算。
文章