Αυτή η υποβολή περιλαμβάνεται σε:
2025-12-11 20:01:23 +01:00
γονέας 05007461aa
υποβολή 6ae56c9cc1
40 αρχεία άλλαξαν με 108 προσθήκες και 2 διαγραφές

18
Services/llamacpp-swap/Scripts/startEmbeddingTop.sh Εκτελέσιμο αρχείο

@@ -0,0 +1,18 @@
#!/bin/bash
exec /app/llama-server $EMBEDDING_TOP_MODEL \
--embeddings --pooling mean \
--flash-attn auto --threads -1 --threads-http -1 \
--timeout 600 --host 0.0.0.0 --port 8099 &
PID=$!
cleanup() {
echo "Stopping llama-server..."
kill $PID 2>/dev/null
wait $PID 2>/dev/null
exit 0
}
trap cleanup SIGTERM SIGINT
wait $PID