Add Alltoallv RCCL kernel implementation (#269)

* Add alltoallv API and implementation

* Extend Rome P2P channel limit to multinode and alltoall kernels

* topo_expl: fix compilation and sync up with main

* gtest: use RCCL alltoallv API

* Code review changes
Этот коммит содержится в:
Wenkai Du authored and GitHub committed 2020-09-30 16:25:36 -07:00
1 родитель aa985bfb7e
Коммит b871ea3c0c
22 files changed
+300 -60

No files matched your search

+5
Просмотреть файл
@@ -40,6 +40,11 @@ struct ncclInfo {
// Algorithm details
int chunkSteps;
int sliceSteps;
// For alltoallv
const size_t *sendcounts;
const size_t *sdispls;
const size_t *recvcounts;
const size_t *rdispls;
// Computed later
int algorithm;
int protocol;