Tento commit je obsažen v:
2025-11-01 18:36:06 +01:00
rodič 5b6401eff3
revize 521f7ce304
6 změnil soubory, kde provedl 64 přidání a 24 odebrání

Zobrazit soubor

@@ -3,10 +3,10 @@ Name=llamacpp
[Container]
ContainerName=llamacpp
Image=localhost/llamacpp:rocm-amd64
Image=localhost/llamacpp:vulkan-amd64
Network=internal.network
#PublishPort=8080:8080
PublishPort=8080:8080
# ROCm
AddDevice=/dev/kfd
@@ -42,8 +42,8 @@ Environment=CODER_GPU_LAYERS=99
Environment=CODER_MAX_TOKENS=512
# Mount points
Volume=/srv/containers/aitools/models/llamacpp:/home/ubuntu/.cache/llama.cpp
Volume=/srv/containers/aitools/models/llamacpp:/app/models
Volume=/srv/containers/aitools/.cache:/home/ubuntu/.cache
Volume=/srv/containers/aitools/models:/app/models
Volume=/srv/containers/aitools/llamacpp_config.yaml:/app/config.yaml
[Service]