Update containers/llamacpp/llamacpp.container

Этот коммит содержится в:
2026-08-08 16:58:46 +00:00
родитель b38ec0f8e2
Коммит 7ce98859f1
+8
Просмотреть файл
@@ -23,6 +23,14 @@ Environment=LLAMA_ARG_LOAD_MODE=none
Environment=LLAMA_ARG_CTX_SIZE=131072
Environment=LLAMA_ARG_HF_REPO=unsloth/Qwen3-Coder-30B-A3B-Instruct-GGUF:Q2_K
# Improvements
Environment=LLAMA_ARG_CACHE_REUSE=256
Environment=LLAMA_ARG_BATCH=4096
Environment=LLAMA_ARG_UBATCH=1024
Environment=LLAMA_ARG_CACHE_TYPE_K=q4_1
Environment=LLAMA_ARG_CACHE_TYPE_V=q4_1
#Environment=LLAMA_CHAT_TEMPLATE_KWARGS={"thinking":true,"reasoning_effort":"medium"}
# MTP
Environment=LLAMA_ARG_SPEC_TYPE=draft-mtp
Environment=LLAMA_ARG_SPEC_DRAFT_N_MAX=6