登录
更多
已读文章
名词
现象
观点
问题
政要
稀疏注意力
分类
思路
稀疏注意力
的思路是分工:先由一个轻量的「索引器」(indexer)为每个query挑出k个最相关的key,再让真正的注意力只在这k个key上计算。
文章