containers/llamacpp: stop router from downloading the baked-in single model

This commit is contained in:
2026-08-08 21:12:50 +02:00
förälder 6f9e5d6a9e
incheckning e68fdbdaad
2 ändrade filer med 9 tillägg och 1 borttagningar
@@ -73,7 +73,11 @@ ENV LD_LIBRARY_PATH=/app:$LD_LIBRARY_PATH
ENV HF_XET_HIGH_PERFORMANCE=1
ENV LLAMA_ARG_HOST=0.0.0.0
ENV LLAMA_ARG_PORT=8090
ENV LLAMA_ARG_HF_REPO=unsloth/Qwen3.5-35B-A3B-GGUF:Q2_K_XL
# Default single-model rimosso: in router mode il modello lo decide il preset
# (/config/preset.ini via LLAMA_ARG_MODELS_PRESET). Se un'immagine prodotta
# prima di questa modifica viene usata, il .container deve svuotare
# LLAMA_ARG_HF_REPO per evitare download non richiesti.
#ENV LLAMA_ARG_HF_REPO=unsloth/Qwen3.5-35B-A3B-GGUF:Q2_K_XL
ENV LLAMA_ARG_LOAD_MODE=none
ENV LLAMA_ARG_CTX_SIZE=128000
#ENV LLAMA_ARG_MMPROJ_URL=
+4
Visa fil
@@ -22,6 +22,10 @@ Environment=LLAMA_ARG_HOST=0.0.0.0
Environment=LLAMA_ARG_PORT=8090
Environment=LLAMA_ARG_MODELS_PRESET=/config/preset.ini
# Svuota l'eventuale LLAMA_ARG_HF_REPO baked-in nell'immagine (default
# single-model) per non scaricare modelli non richiesti in router mode.
Environment=LLAMA_ARG_HF_REPO=
# RPC — worker ggml-rpc-server (llamacpp-rpc.container), lista host:port; backend insicuro, solo su internal.network
#Environment=LLAMA_ARG_RPC=llamacpp-rpc:50052
# Con RPC attivo, ripartisce i layer tra GPU locale e worker remoto (es. "1,1" = meta' e meta'); senza, tutto in locale