Add new NVLS algorithm for allreduce using NVLink SHARP (intra-node only).
Add new config options: cgaClusterSize, minCTAs, maxCTAs, netName.
Enable LL128 when we use PXN to close rings.
NVTX3 includes update.
Fix crash when one CollNet (SHARP) rail fails to initialize.


[ROCm/rccl commit: 5d3ab08b69]
Cette révision appartient à :
Sylvain Jeaugey
2023-02-27 02:48:21 -08:00
Parent e6e8f2555c
révision 8dcf8e8720
72 fichiers modifiés avec 4541 ajouts et 2391 suppressions
+1
Voir le fichier
@@ -24,6 +24,7 @@ typedef enum : uint8_t {
ncclPatternTreeUpDown,
ncclPatternCollnetChain,
ncclPatternCollnetDirect,
ncclPatternNvls,
ncclPatternSend,
ncclPatternRecv
} ncclPattern_t;