AI/amd-strix-halo-vllm-toolboxes
2
0
Förgrening 0
Kod Ärenden Pull-förfrågningar Actions Packages Projekt Släpp Wiki Aktiviteter

Installing flash_attn, as this is now neded by vLLM

Bläddra i källkod
This commit is contained in:
Donato Capitella
2025-11-30 17:49:29 +00:00
förälder 30bd06b1bd
incheckning b8678b08ba
2 ändrade filer med 10 tillägg och 0 borttagningar
Download Patch File Download Diff File Expand all files Collapse all files
scripts/01-rocm-env-for-triton.sh
+1
Visa fil
@@ -1,3 +1,4 @@
# Required for Strix Halo / RDNA3.5 on vLLM
export TORCH_ROCM_AOTRITON_ENABLE_EXPERIMENTAL=1
export FLASH_ATTENTION_TRITON_AMD_ENABLE="TRUE"
export VLLM_TARGET_DEVICE=rocm