周洪恩
分享帖子
https://taou.cn/a/KBvwQ86月21日，英伟达闭门访谈，副总裁卡坦扎罗说了句让全场沉默的话："很多企业的AI算力开销，已经远超人力成本了。"很多公司连ROI都算不清楚。领导问"AI投入产出比多少"，没人答得上来。因为根本没人记账——Token花了多少、哪个业务线在烧、烧得值不值，一笔糊涂账。卡坦扎罗给的方案也很直接：分层调度，别什么都上H100。简单任务用小模型，复杂任务才上大卡。推理和训练分开，闲时降频，忙时扩容。英伟达自己都在推这个——因为他们比谁都清楚，客户烧不起了，英伟达也卖不动了。为什么？因为分层调度需要技术能力，需要治理体系，需要有人管。而大部分企业的现状是：AI团队自己都在无脑调用大模型，谁来管谁？更深层的问题是：很多企业上AI，不是因为算清楚了账，是因为怕落后。别人都在搞，我不搞就掉队。至于花多少钱？先花了再说。这跟当年大家抢着做App、抢着搞中台，一模一样。AI不是不能投，但别无脑投。算力不是不重要，但别比人还贵。
发布于 湖南
分享
评论
赞
未登录
友善发言
评论
加载中
