config: Add VLLM_DISABLE_COMPILE_CACHE=1 to environment variables across VLLM scripts.

Dieser Commit ist enthalten in:
Donato Capitella
2026-03-09 14:07:43 +00:00
Ursprung 8de950d9ca
Commit 16405e8943
5 geänderte Dateien mit 5 neuen und 0 gelöschten Zeilen
+1
Datei anzeigen
@@ -137,6 +137,7 @@ def get_vllm_server_cmd(model, tp_size, util, max_len, max_seqs):
# Env Setup
env = os.environ.copy()
env["VLLM_DISABLE_COMPILE_CACHE"] = "1"
env.update(config.get("env", {}))
# CLUSTER / RAY LOGIC
+1
Datei anzeigen
@@ -163,6 +163,7 @@ def run_throughput(model, tp_size, backend_name="Default", output_dir=RESULTS_DI
# ENV Setup: Global + Model Specific
env = os.environ.copy()
env["VLLM_DISABLE_COMPILE_CACHE"] = "1"
# Inject model specific env vars (e.g. for AWQ)
model_env = MODEL_TABLE[model].get("env", {})
+1
Datei anzeigen
@@ -140,6 +140,7 @@ def get_cluster_env():
host_ip = get_local_ip(rdma_iface)
env = os.environ.copy()
env["VLLM_DISABLE_COMPILE_CACHE"] = "1"
# Critical Cluster Envs (Match start_vllm_cluster.py)
env["RAY_EXPERIMENTAL_NOSET_ROCR_VISIBLE_DEVICES"] = "1"