登录
更多
已读文章
名词
现象
观点
问题
政要
稀疏注意力的思路
描述
稀疏注意力的思路
是分工:先由一个轻量的「索引器」(indexer)为每个query挑出k个最相关的key,再让真正的注意力只在这k个key上计算。
文章