Add llamacpp container

Este commit está contenido en:
2025-12-11 20:01:23 +01:00
padre 05007461aa
commit 6ae56c9cc1
Se han modificado 40 ficheros con 108 adiciones y 2 borrados

Ver fichero

@@ -0,0 +1,20 @@
#!/bin/bash
exec /app/llama-server $CODER_MODEL \
-c $CODER_CONTEXT_SIZE -n $CODER_MAX_TOKENS \
--temp 0.3 --top-p 0.9 --top-k 40 --repeat-penalty 1.05 \
--flash-attn auto --threads -1 --threads-batch -1 --threads-http -1 \
--jinja \
--timeout 600 --host 0.0.0.0 --port 8094 &
PID=$!
cleanup() {
echo "Stopping llama-server..."
kill $PID 2>/dev/null
wait $PID 2>/dev/null
exit 0
}
trap cleanup SIGTERM SIGINT
wait $PID