Claude自研芯片，不靠英伟达跑模型
昨天看Claude自研芯片的新闻，正好组内刚开完算力成本复盘会。我们现在线上推理，80%的预算都花在英伟达卡上，32卡的集群跑一次大版本迭代，光硬件成本就要十几万。之前我一直以为，只要把模型算法调优，就能解决推理瓶颈。看完这件事想法变了，算法上限会被底层硬件死死卡住。但自研芯片门槛极高，从流片、驱动适配再到模型算子调通，整套链路要砸大量工程师，30多人的后端团队啃一年都未必落地。很多公司嘴上喊着摆脱外部芯片依赖，实际连完整的算子适配都跑不通。是硬砸钱自研，还是继续接受外部硬件的成本枷锁？
发布于 湖北
分享
评论
3
未登录
友善发言
评论
加载中
