AI/amd-strix-halo-vllm-toolboxes
2
0
Tükrözés 0
Kód Hibajegyek Egyesítési kérések Actions Packages Projektek Kiadások Wiki Tevékenység

updated envs for better strix halo support on vllm

Forráskód böngészése
This commit is contained in:
Donato Capitella
2025-12-19 08:30:02 +00:00
szülő 69f869ae41
commit f19932b360
1 fájl változott, egészen pontosan 5 új sor hozzáadva és 1 régi sor törölve
Download Patch File Download Diff File Expand all files Collapse all files
scripts/01-rocm-env-for-triton.sh
+5 -1
Fájl megtekintése
@@ -1,4 +1,8 @@
# Required for Strix Halo / RDNA3.5 on vLLM
export TORCH_ROCM_AOTRITON_ENABLE_EXPERIMENTAL=1
export FLASH_ATTENTION_TRITON_AMD_ENABLE="TRUE"
export VLLM_TARGET_DEVICE=rocm
export VLLM_TARGET_DEVICE=rocm
export VLLM_USE_MMAP=0
export VLLM_ROCM_USE_AITER=0
export VLLM_ROCM_USE_AITER_MOE=0
export VLLM_USE_TRITON_AWQ=1