英伟达扩散LLM双塔，业务落地靠谱吗？
开源是好，但谁能用得起？英伟达这次把TwoTower的权重开源了，说支持商用部署。开发者可以免费下载测试。但现实是——能跑起来的没几个。模型总参数量60B，每塔激活3B参数。官方明确说了，双塔完整推理需要双卡协同。单卡只能跑纯自回归模式，那就跟普通模型没区别了。一张H100多少钱？十几万。两张就是三十万起步。这还没算服务器、网络、运维的成本。而且静态显存占用比原来还增加了。也就是说，不光要买更多的卡，每张卡还被占得更满。英伟达这波操作，到底是给企业送福利，还是变相卖显卡？
发布于 北京
分享
评论
赞
未登录
友善发言
评论
加载中
