Introduce multi-rank support per device.

This is a single commit of the source code changes required to
introduce support for multiple ranks per device.
A new interface (ncclCommRankInitMulti) has to be used to make use of
this new feature.
Dieser Commit ist enthalten in:
Edgar
2022-03-14 14:55:24 -04:00
committet von Edgar Gabriel
Ursprung 5cb2aca3d9
Commit 0336ffdf70
23 geänderte Dateien mit 1232 neuen und 87 gelöschten Zeilen
+1
Datei anzeigen
@@ -40,6 +40,7 @@ struct ncclPeerInfo {
int64_t busId;
struct ncclComm* comm;
int cudaCompCap;
int virtualId;
};
#define CONNECT_SIZE 128