Add llamacpp container
Este commit está contenido en:
18
Services/llamacpp-swap/Scripts/startEmbedding.sh
Archivo ejecutable
18
Services/llamacpp-swap/Scripts/startEmbedding.sh
Archivo ejecutable
@@ -0,0 +1,18 @@
|
||||
#!/bin/bash
|
||||
|
||||
exec /app/llama-server $EMBEDDING_MODEL \
|
||||
--embeddings --pooling mean \
|
||||
--flash-attn auto --threads -1 --threads-http -1 \
|
||||
--timeout 600 --host 0.0.0.0 --port 8096 &
|
||||
PID=$!
|
||||
|
||||
cleanup() {
|
||||
echo "Stopping llama-server..."
|
||||
kill $PID 2>/dev/null
|
||||
wait $PID 2>/dev/null
|
||||
exit 0
|
||||
}
|
||||
|
||||
trap cleanup SIGTERM SIGINT
|
||||
|
||||
wait $PID
|
||||
Referencia en una nueva incidencia
Block a user