From 50f22e8317c95f989ec0b27f7842ce174c8aea97 Mon Sep 17 00:00:00 2001 From: Pedram Alizadeh Date: Thu, 14 Mar 2024 12:18:26 -0400 Subject: [PATCH] msccl algorithms tuning for allgather on MI300 (#1110) --- ...er-8n-0-1kb.xml => allgather-8n-0-8kb.xml} | 2 +- ...1mb-4mb.xml => allgather-8n-128kb-1mb.xml} | 2 +- ...4mb-16mb.xml => allgather-8n-1mb-40mb.xml} | 2 +- .../msccl-algorithms/allgather-8n-4kb-8kb.xml | 692 --------- ...1kb-4kb.xml => allgather-8n-8kb-128kb.xml} | 2 +- .../msccl-algorithms/allgather-8n-8kb-1mb.xml | 1364 ----------------- 6 files changed, 4 insertions(+), 2060 deletions(-) rename tools/msccl-algorithms/{allgather-8n-0-1kb.xml => allgather-8n-0-8kb.xml} (99%) rename tools/msccl-algorithms/{allgather-8n-1mb-4mb.xml => allgather-8n-128kb-1mb.xml} (99%) rename tools/msccl-algorithms/{allgather-8n-4mb-16mb.xml => allgather-8n-1mb-40mb.xml} (99%) delete mode 100644 tools/msccl-algorithms/allgather-8n-4kb-8kb.xml rename tools/msccl-algorithms/{allgather-8n-1kb-4kb.xml => allgather-8n-8kb-128kb.xml} (99%) delete mode 100644 tools/msccl-algorithms/allgather-8n-8kb-1mb.xml diff --git a/tools/msccl-algorithms/allgather-8n-0-1kb.xml b/tools/msccl-algorithms/allgather-8n-0-8kb.xml similarity index 99% rename from tools/msccl-algorithms/allgather-8n-0-1kb.xml rename to tools/msccl-algorithms/allgather-8n-0-8kb.xml index 8588571562..6b43e13b4d 100644 --- a/tools/msccl-algorithms/allgather-8n-0-1kb.xml +++ b/tools/msccl-algorithms/allgather-8n-0-8kb.xml @@ -1,6 +1,6 @@ - + diff --git a/tools/msccl-algorithms/allgather-8n-1mb-4mb.xml b/tools/msccl-algorithms/allgather-8n-128kb-1mb.xml similarity index 99% rename from tools/msccl-algorithms/allgather-8n-1mb-4mb.xml rename to tools/msccl-algorithms/allgather-8n-128kb-1mb.xml index 2da0b6cd9f..03e14f2feb 100644 --- a/tools/msccl-algorithms/allgather-8n-1mb-4mb.xml +++ b/tools/msccl-algorithms/allgather-8n-128kb-1mb.xml @@ -1,6 +1,6 @@ - + diff --git a/tools/msccl-algorithms/allgather-8n-4mb-16mb.xml b/tools/msccl-algorithms/allgather-8n-1mb-40mb.xml similarity index 99% rename from tools/msccl-algorithms/allgather-8n-4mb-16mb.xml rename to tools/msccl-algorithms/allgather-8n-1mb-40mb.xml index 8a6f4939ad..da1de14d6c 100644 --- a/tools/msccl-algorithms/allgather-8n-4mb-16mb.xml +++ b/tools/msccl-algorithms/allgather-8n-1mb-40mb.xml @@ -1,6 +1,6 @@ - + diff --git a/tools/msccl-algorithms/allgather-8n-4kb-8kb.xml b/tools/msccl-algorithms/allgather-8n-4kb-8kb.xml deleted file mode 100644 index c231dbe967..0000000000 --- a/tools/msccl-algorithms/allgather-8n-4kb-8kb.xml +++ /dev/null @@ -1,692 +0,0 @@ - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - diff --git a/tools/msccl-algorithms/allgather-8n-1kb-4kb.xml b/tools/msccl-algorithms/allgather-8n-8kb-128kb.xml similarity index 99% rename from tools/msccl-algorithms/allgather-8n-1kb-4kb.xml rename to tools/msccl-algorithms/allgather-8n-8kb-128kb.xml index a5fb9bcbf6..48afcb9b5b 100644 --- a/tools/msccl-algorithms/allgather-8n-1kb-4kb.xml +++ b/tools/msccl-algorithms/allgather-8n-8kb-128kb.xml @@ -1,6 +1,6 @@ - + diff --git a/tools/msccl-algorithms/allgather-8n-8kb-1mb.xml b/tools/msccl-algorithms/allgather-8n-8kb-1mb.xml deleted file mode 100644 index 8f1f7825ce..0000000000 --- a/tools/msccl-algorithms/allgather-8n-8kb-1mb.xml +++ /dev/null @@ -1,1364 +0,0 @@ - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -