NPKit: separate time stamps for GPU access from different blocks (#1229)

To avoid races in memory access in GPU

[ROCm/rccl commit: 9d8f68b4ee]
Šī revīzija ir iekļauta:
Wenkai Du
2024-06-28 08:00:22 -07:00
revīziju iesūtīja GitHub
vecāks c24b1ff14f
revīzija b3e9d2d61b
7 mainīti faili ar 17 papildinājumiem un 21 dzēšanām
@@ -16,6 +16,8 @@
#include "common.h"
#define NPKIT_GET_GPU_TIMESTAMP wall_clock64
#define NPKIT_GET_CPU_TIMESTAMP_FROM_BLOCK \
__atomic_load_n(reinterpret_cast<uint64_t*>((uint8_t *)ncclShmem.comm.cpuTimestamp + 128*blockIdx.x), __ATOMIC_RELAXED)
class NpKit {