英伟达扩散LLM双塔，业务落地靠谱吗？
英伟达双塔是个啥？英伟达最近开源了一个叫TwoTower的模型。说白了就是把原来一个模型干的活，拆成两个塔来干——一个塔专门负责“看懂”你的问题（上下文塔），另一个塔专门负责“写答案”（去噪塔）。以前传统模型是一个字一个字往外蹦，慢得要死。双塔架构可以并行写一整段，生成速度直接快了2.42倍。质量呢？保留了原来98.7%的水平。听着挺牛对吧？但这里有个坑——两个30B的塔加起来60B参数，需要两张H100或A100 80GB显卡才能跑。光硬件成本就劝退一大波人。所以问题来了：速度翻倍了，但硬件成本也翻倍了，这账算得过来吗？
发布于 北京
分享
评论
赞
未登录
友善发言
评论
加载中
