参数

与密集型310亿参数模型相比，该模型几乎与40亿参数模型一样快，因此是快速推理的绝佳选择。

加载Gemma4模型所需的大致GPU或TPU内存，具体取决于参数数量和量化级别。

这些嵌入表很大，但仅用于快速查找，因此加载静态权重所需的总内存高于有效参数数量所暗示的内存。

这些嵌入表很大，但仅用于快速查找，因此激活参数的数量远小于总数。

较小的模型采用Per-LayerEmbeddings(PLE)，以最大限度提高设备端部署中的参数效率。

较小的模型采用每层嵌入(PLE)技术，以最大限度地提高设备端部署中的参数效率。

通过在推理期间仅激活40亿个参数子集，混合专家模型运行速度比其260亿个总参数所暗示的速度快得多。

详细参数对比

Gemma4模型提供4种参数大小：E2B、E4B、31B和26BA4B。

参数大小和量化

一方面，产品参数与性能陷入同质化内卷境地，入门级产品价格已逼近成本线；

封装与热性能参数

由于是偷跑的，而且真实性不好说，每款显卡的参数就不一一介绍了，值得注意的主要是制程工艺是台积电3nm，没有上更贵的2nm工艺，显然还是注意降低成本的。

总之，就目前泄露的规格来看，RTX60系列显卡的提升属于按部就班，暂时谈不上什么惊喜，规格参数提升都不大，从5nm升级到3nm倒是可以降低核心面积，但考虑到代工及显存涨价的成本，明年RTX60系列显卡恐怕还得涨价，这才是麻烦事。