Epoch AI：硬件占训练前沿AI模型成本的47

Epoch AI：硬件占训练前沿AI模型成本的47-67%

2024年10月11日 03:07

近年来，训练前沿人工智能模型的成本急剧增长，但关于这些费用的规模和增长的公开数据有限。

分析显示，自2016年以来，前沿模型最终训练运行的摊销硬件和能源成本以每年2.4倍的速度快速增长。Epoch AI还估算了开发关键前沿模型的成本分解，包括研发人员成本和实验计算成本。大部分开发成本是硬件成本，占47-67%，研发人员成本占29-49%，其余2-6%用于能源消耗。

如果培训成本持续增长的趋势持续下去，到2027年，最大规模的培训将花费超过10亿美元。

关键结果

Epoch AI的主要方法是基于硬件折旧和模型训练期间的能源消耗来计算训练成本。硬件成本包括AI加速芯片、服务器、互联硬件。Epoch AI使用来自开发人员或可信的第三方报告的信息来识别或估计给定模型的硬件类型和数量以及训练运行时间。Epoch AI还估计了在每个模型的最后训练运行期间硬件的能量消耗。

使用该方法，Epoch AI估计了45个前沿模型的训练成本，发现总体增长率为每年2.4倍。

主题：47-67%