60 خطوط
2.0 KiB
INI
60 خطوط
2.0 KiB
INI
[Container]
|
|
ContainerName=llamacpp
|
|
|
|
# Vlukan
|
|
Image=localhost/llamacpp:vulkan
|
|
# ROCm
|
|
#Image=localhost/llamacpp:rocm
|
|
|
|
Network=internal.network
|
|
PublishPort=8090:8090
|
|
|
|
# Volumes
|
|
Volume=/srv/containers/aitools/models/hf:/root/.cache/huggingface/hub
|
|
Volume=/srv/containers/aitools/config:/config
|
|
|
|
# ROCm tuning
|
|
AddDevice=/dev/dri/renderD128
|
|
PodmanArgs=--group-add=keep-groups --ipc=host --pids-limit=-1
|
|
SecurityLabelType=container_runtime_t
|
|
|
|
Environment=LLAMA_ARG_HOST=0.0.0.0
|
|
Environment=LLAMA_ARG_PORT=8090
|
|
Environment=LLAMA_ARG_MODELS_PRESET=/config/preset.ini
|
|
|
|
# Svuota l'eventuale LLAMA_ARG_HF_REPO baked-in nell'immagine (default
|
|
# single-model) per non scaricare modelli non richiesti in router mode.
|
|
Environment=LLAMA_ARG_HF_REPO=
|
|
# Disattiva la sorgente "cache" del router (che altrimenti scansiona la HF
|
|
# cache e lista tutti i modelli scaricati): punta LLAMA_CACHE a una dir vuota,
|
|
# cosi' /v1/models espone solo i modelli definiti nel preset.
|
|
Environment=LLAMA_CACHE=/root/.cache/llama.cpp/nocache
|
|
|
|
# RPC — worker ggml-rpc-server (llamacpp-rpc.container), lista host:port; backend insicuro, solo su internal.network
|
|
#Environment=LLAMA_ARG_RPC=llamacpp-rpc:50052
|
|
# Con RPC attivo, ripartisce i layer tra GPU locale e worker remoto (es. "1,1" = meta' e meta'); senza, tutto in locale
|
|
#Environment=LLAMA_ARG_TENSOR_SPLIT=1,1
|
|
|
|
# HF
|
|
Environment=HF_HOME=/root/.cache/huggingface
|
|
Environment=HF_TOKEN=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
|
|
|
|
# API Key — protezione accesso al server (da impostare anche in Odoo > AI > API Key)
|
|
# Decommentare per abilitare l'autenticazione
|
|
#Environment=LLAMA_API_KEY=la-tua-chiave-segreta
|
|
|
|
# Model ID — in router mode il campo "model" dell'API e' il nome della sezione
|
|
# del preset (/config/preset.ini), es. "qwen36-mtp". Aggiorna di conseguenza
|
|
# il campo "model" nelle integrazioni (es. Odoo > AI > API Key).
|
|
|
|
# Override Boot
|
|
#Entrypoint=/usr/bin/sleep
|
|
#Exec=infinity
|
|
|
|
[Service]
|
|
Restart=on-failure
|
|
TimeoutStartSec=15m
|
|
|
|
[Install]
|
|
WantedBy=multi-user.target default.target
|