英伟达扩散LLM双塔，业务落地靠谱吗？
看着很美，但有几个风险得想清楚。第一，冻结的上下文塔不能微调。你只能训练去噪塔，如果业务场景比较特殊，微调效果好不好是个未知数。第二，98.7%是平均值。可能在你的业务数据上掉得更多。社区已经有评论提醒要做细粒度评估。第三，生态配套还在完善中。vLLM、SGLang这些主流框架虽然支持，但第三方工具和插件的适配度比不上Llama这些成熟模型。第四，非英伟达GPU效率会明显下降。用了这个模型，基本就被绑定在英伟达生态里了。
发布于 北京
分享
评论
赞
未登录
友善发言
评论
加载中
