我是小弟
2024-11-06
来自湖南
GPT3的参数量为1750亿,训练数据量达到了570GB,按照文中A100的租赁价格,GPU计算效率0.4,训练精度为 FP16,那么完整训练一次,需要耗时:175B×570GB×6/312T/0.4(秒)= 1330000小时,花费1330000小时×28元/小时=3724万元。这样算,对吗?