NPKit: separate time stamps for GPU access from different blocks (#1229)

To avoid races in memory access in GPU

[ROCm/rccl commit: 9d8f68b4ee]
Dieser Commit ist enthalten in:
Wenkai Du verfasst und GitHub committed 2024-06-28 08:00:22 -07:00
1 Ursprung c24b1ff14f
Commit b3e9d2d61b
7 Dateien geändert
+17 -21

Keine Dateien entsprechen Ihrer Suche

+2
Datei anzeigen
@@ -16,6 +16,8 @@
#include "common.h"
#define NPKIT_GET_GPU_TIMESTAMP wall_clock64
#define NPKIT_GET_CPU_TIMESTAMP_FROM_BLOCK \
__atomic_load_n(reinterpret_cast<uint64_t*>((uint8_t *)ncclShmem.comm.cpuTimestamp + 128*blockIdx.x), __ATOMIC_RELAXED)
class NpKit {