Introduce 1pass allreduce. Tailor it for very small message sizes <= 20KB. (#919)

[ROCm/rccl commit: 341926c60a]
Αυτή η υποβολή περιλαμβάνεται σε:
Wen-Heng (Jack) Chung
2023-10-16 16:31:08 -05:00
υποβλήθηκε από GitHub
γονέας e0cc7de446
υποβολή 49e52e7269
2 αρχεία άλλαξαν με 5427 προσθήκες και 1 διαγραφές
Το diff αρχείου καταστέλλεται επειδή είναι πολύ μεγάλο Φόρτωση Διαφορών
@@ -1,4 +1,4 @@
<algo name="allreduce_pairs" proto="LL" nchannels="4" nchunksperloop="256" ngpus="8" coll="allreduce" inplace="1" outofplace="0" minBytes="0" maxBytes="327679">
<algo name="allreduce_pairs" proto="LL" nchannels="4" nchunksperloop="256" ngpus="8" coll="allreduce" inplace="1" outofplace="0" minBytes="20481" maxBytes="327679">
<gpu id="0" i_chunks="256" o_chunks="0" s_chunks="224">
<tb id="0" send="-1" recv="-1" chan="0">
<step s="0" type="nop" srcbuf="i" srcoff="-1" dstbuf="o" dstoff="-1" cnt="0" depid="8" deps="1" hasdep="0"/>