Ollama 可以设置的环境变量

在Ollama的世界里，环境变量如同神秘的符文，它们是控制和定制这个强大工具的关键。通过精心设置这些环境变量，我们可以让Ollama更好地适应我们的需求，就像调整一把精密的乐器，使其奏出最和谐的旋律。以下是一些可以设置的环境变量，它们将帮助我们驾驭Ollama，让它成为我们探索数据海洋的得力助手。

Llama 3.1 是 Meta（Facebook 的母公司）发布的一系列最先进的开源大语言模型。Llama 3.1 系列包括 8B（80 亿参数）、70B（700 亿参数）和 405B（4050 亿参数）模型。其中，405B 是 Meta 迄今为止最大的模型。

具体模型的显卡需求：

• llama3.1-8b，至少需要8G的显存
• llama3.1-70b，至少需要大约 70-75 GB 显存
• llama3.1-405b，运行需要非常高的显存和硬件资源，至少需要大约 400-450 GB 显存，请谨慎选择。

1. Ollama 可以设置的环境变量
OLLAMA_HOST：这个变量定义了Ollama监听的网络接口。通过设置OLLAMA_HOST=0.0.0.0，我们可以让Ollama监听所有可用的网络接口，从而允许外部网络访问。

OLLAMA_MODELS：这个变量指定了模型镜像的存储路径。通过设置OLLAMA_MODELS=F:\OllamaCache，我们可以将模型镜像存储在E盘，避免C盘空间不足的问题。

OLLAMA_KEEP_ALIVE：这个变量控制模型在内存中的存活时间。设置OLLAMA_KEEP_ALIVE=24h可以让模型在内存中保持24小时，提高访问速度。

OLLAMA_PORT：这个变量允许我们更改Ollama的默认端口。例如，设置OLLAMA_PORT=8080可以将服务端口从默认的11434更改为8080。

OLLAMA_NUM_PARALLEL：这个变量决定了Ollama可以同时处理的用户请求数量。设置OLLAMA_NUM_PARALLEL=4可以让Ollama同时处理两个并发请求。OLLAMA_MAX_LOADED_MODELS：这个变量限制了Ollama可以同时加载的模型数量。设置OLLAMA_MAX_LOADED_MODELS=4可以确保系统资源得到合理分配。

Mac环境设置

/Applications/Ollama.app/Contents/MacOS/Ollama

export OLLAMA_HOST=0.0.0.0:11434

export OLLAMA_KEEP_ALIVE=24h

export OLLAMA_NUM_PARALLEL=100

ollama  run llama3.1:8b

ollama run qwen2.5-coder:14b

 

echo $OLLAMA_HOST