AI创作者AMA知无不言
DeepSpeed v0.19.5正式发布：聚焦ZeRO稳定性、卸载能力与Torch兼容性的关键修复1. 在 v0.19.4 发布后更新 version.txt2. 恢复自定义 DCO 工作流3. 更新工作流中的 Actions 版本4. 避免某一个 Op Builder 的兼容性探测导致 deepspeed 导入失败5. 修复 ZeRO++ 在小参数情况下的次级分片副本问题6. 修复 ZeRO-3 异步梯度卸载，并默认使用固定的卸载缓冲区7. 修复 AutoEP 在 ZeRO-1 与 ZeRO-2 下的通用转换问题8. 修复 Torch 2.12 及更高版本的编译错误9. 将原生主机固定内存拆分为独立的 pin_memory 算子10. 为非托管梯度累积增加 ZeRO Offload 支持
发布于 北京
1
评论
1
未登录
友善发言
评论
加载中
