Add llamacpp container

Dieser Commit ist enthalten in:
2025-12-11 20:01:23 +01:00
Ursprung 05007461aa
Commit 6ae56c9cc1
40 geänderte Dateien mit 108 neuen und 2 gelöschten Zeilen

32
Services/llamacpp.container Normale Datei
Datei anzeigen

@@ -0,0 +1,32 @@
[Container]
ContainerName=llamacpp
Image=localhost/llamacpp:vulkan-amd64
#AutoUpdate=registry
Network=internal.network
PublishPort=8090:8090
# Production - Lemonade usa Hugging Face Hub per i modelli
Volume=/srv/containers/aitools/models:/root/.cache/llama.cpp
# ROCm tuning
AddDevice=/dev/dri/renderD128
PodmanArgs=--group-add=keep-groups --ipc=host
SecurityLabelType=container_runtime_t
Environment=LLAMA_ARG_HOST=0.0.0.0
Environment=LLAMA_ARG_PORT=8090
Environment=LLAMA_ARG_NO_MMAP=true
Environment=LLAMA_ARG_CTX_SIZE=131072
Environment=LLAMA_ARG_HF_REPO=unsloth/Qwen3-Coder-30B-A3B-Instruct-GGUF:Q2_K
# HF
Environment=HF_HOME=/root/.cache/huggingface
Environment=HF_TOKEN=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
[Service]
Restart=on-failure
TimeoutStartSec=15m
[Install]
WantedBy=multi-user.target default.target