英伟达扩散LLM双塔，业务落地靠谱吗？
看着开源免费商用，真正部署才发现英伟达双塔扩散LLM有隐藏成本。完整60B双塔结构对显存带宽要求高，老旧A100集群跑起来优化空间有限。虽然不用KV Cache节省显存，但扩散迭代步骤多，单请求算力消耗并不低。小公司没有专职推理优化工程师，调通TensorRT-LLM适配要耗不少人力。如果只是少量并发、低吞吐需求，普通量化自回归模型性价比反而更高。只有日均千万级token、持续高并发的业务，双塔的提速收益才能覆盖改造成本。
发布于 江西
分享
评论
赞
未登录
友善发言
评论
加载中
