Rework barriers and adjust scope of atomics (#1019)

[ROCm/rccl commit: abf265a911]
Этот коммит содержится в:
Wenkai Du
2024-01-04 08:18:48 -08:00
коммит произвёл GitHub
родитель e3d45f9de4
Коммит 13791d7ee3
4 изменённых файлов: 19 добавлений и 44 удалений
+6 -4
Просмотреть файл
@@ -338,8 +338,9 @@ __device__ __forceinline__ void mscclRunInterpreter(
if (tid == 0) {
NpKit::CollectGpuEventLDS(NPKIT_EVENT_MSCCL_SEND_ENTRY, thisNelem*sizeof(T), 0, NPKIT_GET_GPU_TIMESTAMP());
}
#endif
prims.template send<1>(srcOffset, thisNelem); // LL.send is the only situation where there is no barrier at the end.
#endif
prims.send(srcOffset, thisNelem); // LL.send is the only situation where there is no barrier at the end.
#if defined(ENABLE_NPKIT) && defined(ENABLE_NPKIT_EVENT_MSCCL_SEND_EXIT)
if (tid == 0) {
@@ -352,8 +353,9 @@ __device__ __forceinline__ void mscclRunInterpreter(
if (tid == 0) {
NpKit::CollectGpuEventLDS(NPKIT_EVENT_MSCCL_RECV_ENTRY, thisNelem*sizeof(T), 0, NPKIT_GET_GPU_TIMESTAMP());
}
#endif
prims.template recv<1>(dstOffset, thisNelem);
#endif
prims.recv(dstOffset, thisNelem);
#if defined(ENABLE_NPKIT) && defined(ENABLE_NPKIT_EVENT_MSCCL_RECV_EXIT)
if (tid == 0) {
NpKit::CollectGpuEventLDS(NPKIT_EVENT_MSCCL_RECV_EXIT, thisNelem*sizeof(T), 0, NPKIT_GET_GPU_TIMESTAMP());