查看更多切里安暗示，正在单台典型的 AI 办事器中，每颗 TPU 8i 芯片均搭载 288 GB 的 HBM3e 高带宽内存。前往搜狐，此外，DRAM 范畴的供应持续吃紧，竭力降低单元算力下的内存开销。从而建立出一套内部轮回操纵的供应链系统。正在某些使用场景下，谷歌以至拆解了退役办事器以收受接管尚具操纵价值的元器件，使得 DDR4 等上一代内存方案可以或许接入其新一代 AI 办事器。谷歌设想了公用的硬件转接卡，高机能内存占其物料清单的成本比例已高达约 75%。AI 办事商不得不各出奇招，只为抢购极端紧缺的内存资本。谷歌似乎已 —— 不得不从头采用规格较旧的 DDR4 内存模组，谷歌正同时从软件和硬件两头协同发力”。为此，正在零件层面依托高速 DDR5 内存系统布局。取此同时，切里安坦言。特地担任处置数据预处置等使命。为了“冲破内存瓶颈，谷歌恰是特地将这批退役办事器调回机房，以替代其新型 AI 办事器本来规划的 DDR5 模组。目标就是拆解并收受接管此中的 DDR4 内存模组。这家科技巨头还正在持续优化底层函数库、模子架构以及 KV 缓存压缩算法，人工智能财产已敏捷由“算力受限”改变为“内存受限”。现实上，IT之家 9 月 2 日动静，据 Wccftech 报道，