登录

Gemma4E2B与E4B


描述

Gemma4E2B与E4B的第一个小型架构改动,是采用了「共享KVCache」机制:后续层会复用前面层已经计算出的Key-Value状态,从而降低长上下文场景下的显存占用与计算成本。
文章