登录
更多
已读文章
名词
现象
观点
问题
政要
Gemma4E2B与E4B
描述
Gemma4E2B与E4B
的第一个小型架构改动,是采用了「共享KVCache」机制:后续层会复用前面层已经计算出的Key-Value状态,从而降低长上下文场景下的显存占用与计算成本。
文章