数据搬运
分类
成本
因此在大模型时代,当数据搬运成本百倍于计算成本、矩阵乘运算占比超过95%时,存算一体就成为破解巨量数据搬运开销的有效路径。
文章
正如图灵奖得主约翰・轩尼诗所言:数据搬运的成本已经达到计算成本的100倍。
文章
要破解这一难题,理论上有两条路径可以降低数据搬运成本:一是缩短数据搬运路径(近存计算),二是减少搬运层级甚至从根本上消除数据搬运(存算一体)。
文章
这项技术最早由三星在2017年正式提出,核心是在DRAM裸片内部的Bank周边新增简单的SIMD电路,在同一晶圆上设计生产,从而缩短数据搬运距离,降低数据搬运的成本与能耗。
文章
效果
要破解这一难题,理论上有两条路径可以降低数据搬运成本:一是缩短数据搬运路径(近存计算),二是减少搬运层级甚至从根本上消除数据搬运(存算一体)。
文章
这项技术最早由三星在2017年正式提出,核心是在DRAM裸片内部的Bank周边新增简单的SIMD电路,在同一晶圆上设计生产,从而缩短数据搬运距离,降低数据搬运的成本与能耗。
文章
·近存计算(3D堆叠/HBM-PIM):缩短了数据搬运的总距离,一定程度上缓解了存储墙问题,但多层缓存结构依然存在,核心的数据搬运逻辑并未改变
文章