Preprocessor symbol RCCL_BFLOAT16 is used as feature indicator
Этот коммит содержится в:
Wenkai Du
2019-11-15 10:39:48 -08:00
родитель 58a6e535f6
Коммит 5e109ed400
10 изменённых файлов: 370 добавлений и 9 удалений
+3 -1
Просмотреть файл
@@ -30,7 +30,8 @@
NCCL_FUNC4(coll, op, u64), \
NCCL_FUNC4(coll, op, f16), \
NCCL_FUNC4(coll, op, f32), \
NCCL_FUNC4(coll, op, f64)
NCCL_FUNC4(coll, op, f64), \
NCCL_FUNC4(coll, op, b16)
#define NCCL_FUNCS3B(coll, op) \
NCCL_FUNC4(coll, op, i8), \
NCCL_FUNC4(coll, op, i8), \
@@ -40,6 +41,7 @@
NCCL_FUNC4(coll, op, i8), \
NCCL_FUNC4(coll, op, i8), \
NCCL_FUNC4(coll, op, i8), \
NCCL_FUNC4(coll, op, i8), \
NCCL_FUNC4(coll, op, i8)
// Must be consistent with ncclRedOp_t -- but we only generate kernel for sums.