AI/amd-strix-halo-vllm-toolboxes
2
0
Forc 0
Cód Saincheisteanna Iarratais Tarraingthe Gníomhartha Pacáistí Tionscadail Scaoileann Vicí Gníomhaíocht

force egaer mode to make gemma stable

Brabhsáil Foinse
Tá an tiomantas seo le fáil i:
Donato Capitella
2026-02-23 18:19:15 +00:00
tuismitheoir f968cb1f30
tiomantas e0fadf426b
D'athraigh 1 comhad le 1 breiseanna agus 0 scriosta
Íoslódáil an comhad paiste Íoslódáil Comhad Diff Leathnaigh gach comhaid Laghdaigh gach comhaid
scripts/models.py
+1
Féach ar an gComhad
@@ -10,6 +10,7 @@ MODEL_TABLE = {
"google/gemma-3-12b-it": { "google/gemma-3-12b-it": {
"trust_remote": False, "trust_remote": False,
"enforce_eager": True,
"valid_tp": [1, 2], "valid_tp": [1, 2],
"max_num_seqs": "64", "max_num_seqs": "64",
"max_tokens": "32768" "max_tokens": "32768"