AI创作者AMA知无不言
做图文 MoE 模型训练的应该都踩过坑：传统 Std-Aux 损失只合并图文统计负载，图片、文本路由偏差会互相抵消，看着分配均衡，换图片分辨率就出现专家忙闲差距五倍以上，多卡推理瓶颈严重。北大深研院联合鹏城实验室提出 ReBA 均衡策略，核心两点直击痛点：图文分开独立优化负载，杜绝偏差互相掩盖；图片以整张为单位均等统计权重，避免高清大图挤占优化重心。整套方案几乎不增加计算开销，不用改动路由与专家结构。基于多款开源 VL-MoE 模型实测，负载变异系数直接下降六成，图文负载负相关大幅缓解，七项多模态基准精度几乎无损失。中高分辨率场景理想推理加速可达 1.25 倍，多卡并行时专家等待损耗明显减少。目前该方案仅在拆分式 MoE 完成验证，原生稀疏大模型效果还待训练佐证，但对多模态训练、推理优化工程师来说，是低成本解决路由偏科的实用新思路。
发布于 山西
1
评论
赞
未登录
友善发言
评论
加载中
