logo
茫茫人海中遇见你
07-02·职场领域创作者
英伟达SparDA预取有用吗？
本身机器数量少，内存延迟问题不突出，开启预取还要消耗额外算力，反而加重机器负担。只有后期扩容成多卡分布式集群，每日推理请求上万次之后，这套预取机制的提速、降本优势才能完全显现出来，前期不用着急部署。
发布于 天津
1
评论
1
未登录
友善发言
image-upload
评论
加载中