config: Add VLLM_DISABLE_COMPILE_CACHE=1 to environment variables across VLLM scripts.

Cette révision appartient à :
Donato Capitella
2026-03-09 14:07:43 +00:00
Parent 8de950d9ca
révision 16405e8943
5 fichiers modifiés avec 5 ajouts et 0 suppressions
+1
Voir le fichier
@@ -322,6 +322,7 @@ def configure_and_launch(model_idx, gpu_count):
# Env Vars
env = os.environ.copy()
env["VLLM_DISABLE_COMPILE_CACHE"] = "1"
env.update(config.get("env", {}))
if use_rocm_attn:
+1
Voir le fichier
@@ -263,6 +263,7 @@ def configure_and_launch_vllm(model_idx, head_ip):
print(f"Detected RDMA Interface: {rdma_iface}")
env = os.environ.copy()
env["VLLM_DISABLE_COMPILE_CACHE"] = "1"
env["RAY_EXPERIMENTAL_NOSET_ROCR_VISIBLE_DEVICES"] = "1"
env["VLLM_HOST_IP"] = head_ip
env["NCCL_SOCKET_IFNAME"] = rdma_iface