containers/llamacpp: stop router from downloading the baked-in single model
This commit is contained in:
@@ -73,7 +73,11 @@ ENV LD_LIBRARY_PATH=/app:$LD_LIBRARY_PATH
|
||||
ENV HF_XET_HIGH_PERFORMANCE=1
|
||||
ENV LLAMA_ARG_HOST=0.0.0.0
|
||||
ENV LLAMA_ARG_PORT=8090
|
||||
ENV LLAMA_ARG_HF_REPO=unsloth/Qwen3.5-35B-A3B-GGUF:Q2_K_XL
|
||||
# Default single-model rimosso: in router mode il modello lo decide il preset
|
||||
# (/config/preset.ini via LLAMA_ARG_MODELS_PRESET). Se un'immagine prodotta
|
||||
# prima di questa modifica viene usata, il .container deve svuotare
|
||||
# LLAMA_ARG_HF_REPO per evitare download non richiesti.
|
||||
#ENV LLAMA_ARG_HF_REPO=unsloth/Qwen3.5-35B-A3B-GGUF:Q2_K_XL
|
||||
ENV LLAMA_ARG_LOAD_MODE=none
|
||||
ENV LLAMA_ARG_CTX_SIZE=128000
|
||||
#ENV LLAMA_ARG_MMPROJ_URL=
|
||||
|
||||
@@ -22,6 +22,10 @@ Environment=LLAMA_ARG_HOST=0.0.0.0
|
||||
Environment=LLAMA_ARG_PORT=8090
|
||||
Environment=LLAMA_ARG_MODELS_PRESET=/config/preset.ini
|
||||
|
||||
# Svuota l'eventuale LLAMA_ARG_HF_REPO baked-in nell'immagine (default
|
||||
# single-model) per non scaricare modelli non richiesti in router mode.
|
||||
Environment=LLAMA_ARG_HF_REPO=
|
||||
|
||||
# RPC — worker ggml-rpc-server (llamacpp-rpc.container), lista host:port; backend insicuro, solo su internal.network
|
||||
#Environment=LLAMA_ARG_RPC=llamacpp-rpc:50052
|
||||
# Con RPC attivo, ripartisce i layer tra GPU locale e worker remoto (es. "1,1" = meta' e meta'); senza, tutto in locale
|
||||
|
||||
Referens i nytt ärende
Block a user