登录
更多
已读文章
名词
现象
观点
问题
政要
上下文
描述
注意力机制对n个token会生成n²的两两关系,每多一个token都在消耗一笔有限的"注意力预算",
上下文
是边际递减的资源,不是个桶。
文章