【大模型训练对算力的需求】

《经济学人》基于OpenAI披露的数据，绘制了一张图，展示了不同的大模型及应用在算力需求上的变化。纵轴是OpenAI用于描述AI计算量的算力单位petaflop/s-days (每天执行one petaflop per second）OpenAI定义一次乘法或一次加法为一个操作。如果每秒钟可以进行10的15次方运算，也就是1peta flops，那么一天就可以进行约10的20次方运算，这个算力消耗被称为1个petaflop/s-day。从整体看上，摩尔定律时代大约两年算力翻一番；而当前用于AI大模型训练的算力需求大约每3.4个月算力翻一番。