Add bfloat16 support in RCCL

Preprocessor symbol RCCL_BFLOAT16 is used as feature indicator
Cette révision appartient à :
Wenkai Du
2019-11-15 10:39:48 -08:00
Parent 58a6e535f6
révision 5e109ed400
10 fichiers modifiés avec 370 ajouts et 9 suppressions
+12
Voir le fichier
@@ -241,6 +241,18 @@ template<> inline __device__
void vStore<half>(volatile half* ptr, const half val) {
((half*)ptr)[0] = val;
}
template<> inline __device__
rccl_bfloat16 vFetch<rccl_bfloat16>(const volatile rccl_bfloat16* ptr) {
rccl_bfloat16 r;
r.data = ptr->data;
return r;
}
template<> inline __device__
void vStore<rccl_bfloat16>(volatile rccl_bfloat16* ptr, const rccl_bfloat16 val) {
ptr->data = val.data;
}
#endif
typedef ulong2 Pack128;