存算一体
描述
存算一体则是计算架构层面的创新,是为从根本上消除缓存带来的数据搬运开销做出的范式革新。
文章
分类
架构
算法规模越大,传统架构下需要搬运数据的次数越多、搬运距离越长,采用存算一体架构的收益就越显著。
文章
本质
效果
通过省去多层级缓存的中转环节,存算一体从根本上降低了矩阵乘运算中的数据搬运开销,可以实现数量级的能效提升。
文章
影响
算法规模越大,传统架构下需要搬运数据的次数越多、搬运距离越长,采用存算一体架构的收益就越显著。
文章
我们可以用一个公式直观理解存算一体的价值:存算收益=参数量×搬运次数×搬运距离
文章