Integrated RCCL with MSCCL++ for small message sizes (#1231)

[ROCm/rccl commit: 6dc47eecd7]
This commit is contained in:
corey-derochie-amd
2024-07-12 15:32:58 -06:00
کامیت شده توسط GitHub
والد f60367f1c3
کامیت b8542c2477
15فایلهای تغییر یافته به همراه441 افزوده شده و 4 حذف شده
@@ -393,6 +393,13 @@ struct ncclComm {
// shared structures for finalization
int finalizeRankCnt;
#if defined(ENABLE_MSCCLPP)
// Whether this comm is compatible with MSCCLPP
bool mscclppCompatible;
struct mscclpp_ncclComm* mscclpp_comm;
size_t mscclpp_threshold;
#endif
// Whether this comm is compatible with MSCCL
bool mscclCompatible;
// group job to support multi-thread FT