登录

上下文


描述

注意力机制对n个token会生成n²的两两关系,每多一个token都在消耗一笔有限的"注意力预算",上下文是边际递减的资源,不是个桶。
文章