diff --git a/.env.example b/.env.example index efdf1da..6089df6 100644 --- a/.env.example +++ b/.env.example @@ -213,7 +213,7 @@ OLLAMA_PORT=11434 OLLAMA_HOST=host.docker.internal:11434 # Tuning -OLLAMA_CONTEXT_LENGTH=8192 +OLLAMA_CONTEXT_LENGTH=4096 OLLAMA_FLASH_ATTENTION=1 OLLAMA_KV_CACHE_TYPE=q4_0 OLLAMA_MAX_LOADED_MODELS=2 @@ -271,7 +271,7 @@ LLAMACPP_MODEL_PATH=${LLAMACPP_MODELS_DIR}/${LLAMACPP_MODEL_NAME} LLAMA_ARG_HF_REPO=${LLAMACPP_MODEL_GEMMA_ID} # Tuning -LLAMA_ARG_CTX_SIZE=8192 +LLAMA_ARG_CTX_SIZE=4096 LLAMA_ARG_FLASH_ATTN=1 LLAMA_ARG_N_GPU_LAYERS=0 LLAMA_ARG_THREADS=4