英伟达SparDA预取有用吗？
上周调我们的多模态训练（CLIP-style图文对，TFRecord格式），NCCL AllReduce等待时PCIe带宽吃不满。翻到NV刚推的SparDA——用稀疏访存模式学非连续张量读取做软件预取，在torch.utils.data.DataLoader外套nvshmem_prefetch_hint标记热点区间。实测同样400 epoch Image-Text对比：关SparDA 每epoch ~142s，开SparDA ~116s，GPU利用率从72%提到84%。代价是CPU侧预取线程多吃约一个物理核——值。这功能对随机访问大shard（如LMDB/TFRecord混洗）尤其有效，顺序读取提升不明显。注意要求驱动>=570.xx且开启CUDA 13.2的--sparda-mode=adaptive，乱设aggressive会拖L3。我们最终写进训练镜像默认开adaptive，新项目直接受益。
发布于 江西
分享
评论
1
未登录
友善发言
评论
加载中
