28 righe
948 B
INI
28 righe
948 B
INI
[Container]
|
|
ContainerName=llamacpp-rpc
|
|
Image=localhost/llamacpp:vulkan-amd64
|
|
#AutoUpdate=registry
|
|
Network=internal.network
|
|
# NON pubblicare sull'host: backend RPC insicuro, solo raggiungibile dagli altri container su internal.network
|
|
#PublishPort=50052:50052
|
|
|
|
# ROCm tuning
|
|
AddDevice=/dev/dri/renderD128
|
|
PodmanArgs=--group-add=keep-groups --ipc=host --pids-limit=-1
|
|
SecurityLabelType=container_runtime_t
|
|
|
|
# Cache locale dei tensori (-c), evita di ritrasferirli in rete a ogni load
|
|
Volume=/srv/containers/aitools/models/rpc-cache:/root/.cache/llama.cpp/rpc
|
|
|
|
# Worker RPC: espone le device locali ai server llama.cpp remoti, non e' il server principale
|
|
Entrypoint=/app/ggml-rpc-server
|
|
# -t: default rpc-server e' meta' dei core host, qui il worker e' dedicato quindi usiamo tutti i core (regola in base all'host)
|
|
Exec=-H 0.0.0.0 -p 50052 -c -t 16
|
|
|
|
[Service]
|
|
Restart=on-failure
|
|
TimeoutStartSec=15m
|
|
|
|
[Install]
|
|
WantedBy=multi-user.target default.target
|