卡坦扎罗：企业算力开销远超人力成本
6月21日英伟达闭门访谈上，副总裁卡坦扎罗一句话让在场甲方们沉默了：养一个高级算法工程师一年80万，但烧在算力上的钱是这个数字的三倍。这不是危言耸听。一家头部零售集团CTO给我看了他们的AI年度账单：全年支出3200万，人力成本不到800万，剩下2400万全砸在GPU集群和云算力租赁上。更要命的是，这笔钱每季度还在涨15%。他们的AI负责人苦笑说：我们不是在做AI，是在给云厂商打工。问题出在算力调度一刀切。不管是生成一份周报还是做一次复杂风控推理，全部走同一套高配GPU集群，算力利用率不到30%。这就好比出门买瓶水也要开重卡，油钱比水贵。解法是分层调度。轻量任务走边缘推理芯片或本地CPU，中等复杂度走中端GPU，只有真正需要大参数模型的任务才上高端集群。内部测试显示，分层调度能让同等业务量的算力消耗降低40%-55%。另一个被忽视的点是Token消耗管理。大量企业内部AI调用没有配额机制，重复调用、冗余调用占比高达35%。搭一套Token用量监控加熔断机制，光是消除冗余就能省下一大笔。算力成本倒挂不是未来的问题，是现在正在发生的事。谁先解决调度效率，谁就能在AI落地这条路上跑赢对手。
发布于 江苏
1
2
1
未登录
友善发言
评论
加载中
