Added an MPI_Barrier() call after MPI_Bcast() for HCOLL issue

[ROCm/rccl-tests commit: 1292b25553]
Этот коммит содержится в:
David Addison
2023-10-12 16:53:32 -07:00
родитель e1f13fac90
Коммит 459b52158f
+1
Просмотреть файл
@@ -924,6 +924,7 @@ testResult_t run() {
}
#ifdef MPI_SUPPORT
MPI_Bcast(&ncclId, sizeof(ncclId), MPI_BYTE, 0, mpi_comm);
MPI_Barrier(MPI_COMM_WORLD); // Ensure Bcast is complete for HCOLL
#endif
int gpus[nGpus*nThreads];
cudaStream_t streams[nGpus*nThreads];