关于DDP的问题

[hlh2023214]

博主你好，你的开源项目对我的帮助很大，然而我最近遇到了一个关于DDP的问题。
我用的显卡是A6000， 单卡运行时没有问题。但是用到多卡时，不管是deepspeed 还是torchrun命令，总是会卡住。我自查了一下，可能是在数据分发阶段出现了堵塞，但是我不知道该怎么解决。想问一下大家有没有遇到过这种问题，是怎么解决的呢？

[jingyaogong]

抱歉，没有遇到过
从截图并不清楚遇到了什么问题

或许已经解决或其他人有类似经历
欢迎继续跟进~

[lizc2003]

我在多卡4090机器， ubuntu 22.04系统上， 在调用DistributedDataParallel 上卡死， 通过设置环境变量搞定：export NCCL_IB_DISABLE=1