登录

存算一体


描述

存算一体则是计算架构层面的创新,是为从根本上消除缓存带来的数据搬运开销做出的范式革新。
文章

分类

架构

算法规模越大,传统架构下需要搬运数据的次数越多、搬运距离越长,采用存算一体架构的收益就越显著。
文章

本质

存算一体的本质:消除缓存,而非简单缩短距离
文章

效果

通过省去多层级缓存的中转环节,存算一体从根本上降低了矩阵乘运算中的数据搬运开销,可以实现数量级的能效提升。
文章

影响

算法规模越大,传统架构下需要搬运数据的次数越多、搬运距离越长,采用存算一体架构的收益就越显著。
文章

我们可以用一个公式直观理解存算一体的价值:存算收益=参数量×搬运次数×搬运距离
文章