内存
分类
带宽
在AI推理中，更多HBM确实可以容纳更多用户的模型工作负载和KVCache，但所有用户仍然需要共享GPU计算资源和内存带宽。
文章
层级
英伟达强调，推理过程中，模型权重和KVCache都需要占用HBM，而HBM恰恰是AI工厂中速度最快、成本最高、供应也最受限制的内存层级。
文章
压力
文章强调，随着大模型参数规模、上下文长度和智能体（Agent）应用持续扩张，AI基础设施的内存压力正在加剧，单纯增加GPU内存容量已不足以解决问题。
文章
除了模型权重和KVCache，英伟达还针对检索增强生成（RAG）带来的内存压力提出优化方案。
文章
效果
一旦计算能力或带宽成为瓶颈，额外增加的内存容量就可能无法得到充分利用，反而增加成本和功耗。
文章
因此，英伟达认为，真正重要的不是单纯增加内存容量，而是让不同类型的数据进入最合适的存储层级，在需要时及时调回GPU，以提高整个系统的利用效率。
文章
文章强调，随着大模型参数规模、上下文长度和智能体（Agent）应用持续扩张，AI基础设施的内存压力正在加剧，单纯增加GPU内存容量已不足以解决问题。
文章
这意味着，英伟达试图通过低精度量化和机架级互联共同解决模型权重占用内存的问题，而不是仅仅依赖单颗GPU不断增加HBM容量。
文章
