英伟达扩散LLM双塔，业务落地靠谱吗？
NVIDIA开源的Nemotron-Labs-TwoTower（60B双塔扩散LLM），核心是把上下文编码和去噪生成解耦——上下文塔冻结、去噪塔并行生成多token，实测在保持98.7%质量前提下吞吐量提升2.42倍。对做推理服务的团队来说，这意味着同等GPU可扛2倍+请求量，或延迟砍半，直接降成本。落地可行性：架构已开源可商用，适合高并发摘要/翻译/内容生成场景先试点。弱点是代码和严谨数学推理略退步于强自回归模型，且需H100级别双卡跑满血版，训练调优也比AR复杂。现阶段建议推理平台拿来优化吞吐敏感业务，核心逻辑链任务仍用AR主力模型做router分流。
发布于 江苏
分享
评论
2
未登录
友善发言
评论
加载中
