天价内存把大厂逼成垃圾佬!拆退役服务器抠DDR 4用

快科技9月3日消息, DRAM供应持续紧张,已将AI巨头逼到拆旧服务器回收内存的地步。
谷歌供应链基础设施高级总监Nikhil Cherian近日透露,AI行业已从算力受限快速转向内存受限,高性能内存目前占单台AI服务器物料成本的约75%。
据Cherian介绍, 为突破内存瓶颈,谷歌在软硬件两端同时发力,硬件层面甚至建立了内部回收供应链,将退役服务器拆解后回收可用的DDR4内存模块。
Cherian坦言,谷歌专门设计了硬件转接器,使上一代DDR4内存能够连接到新一代AI服务器上,并且正在专门重新导入退役服务器以拆取其中的DDR4模组。
这意味着原本应使用DDR5的新AI服务器,在部分情况下不得不降级使用回收的DDR4。
软件层面,谷歌持续优化底层函数库、模型架构和KV Cache压缩技术,试图降低单位算力的内存消耗。
今年谷歌推出了两款TPU ASIC,分别是面向训练的TPU8t和面向推理的TPU8i,其中TPU8i每颗芯片配备288GB HBM3e,提供8.6 TB/s内存带宽,并集成384MB片上SRAM用于存储活跃的KV缓存,减少对外部系统内存的查询需求。
TPU8i服务器采用谷歌自研基于Arm架构的Axion处理器替代传统x86主机CPU,依赖高速DDR5内存架构处理数据预处理等主机级任务。
然而即便如此,谷歌仍被迫在部分场景中以回收的DDR4替代DDR5,足见当前DRAM供应紧张程度之深。
【本文结束】如需转载请务必注明出处:
“掌”握科技鲜闻 (微信搜索techsina或扫描左侧二维码关注)
考验外卖平台基本功的时候到了 七成影视公司亏损“阵痛”,AI转型是“生死线”的答案? 芒果超媒涨停背后:卫视播出《后西游记》证明AI长剧成了?
“微信 单删提示”冲上热搜,微信回应…… 华为Mate 90系列入网:直接标注5G!首发韬定律麒麟芯 《后西游记》立项到播出仅3个月,导演:会根据观众反馈调整剧情 九州量子上半年亏损3829万:未弥补亏损已超实收股本总额 不急换机可再等等!经销商懵了:手机涨价以为会疯抢结果询价都没人 小米迄今为止最高端手机!小米18 Fold阔折叠真机亮相:搭载玄戒O3、会是万元起步吗 3497元!华为WATCH D3发布:血压监测再升级 运动前后都能测 荣耀首款阔折叠手机2027年Q1登场!2nm骁龙8E6 同类最大电池 劝退107名应届生后难招人!星宇股份被曝用外包来代替正式编制 教师过剩了吗?答案藏在学段、学科与城市之间