『大模型笔记』怎样让Ollama启动的大模型常驻内存(显存)?

『大模型笔记』怎样让Ollama启动的大模型常驻内存(显存)?

文章目录

  • 一. 怎样让Ollama启动的大模型常驻内存(显存)?
    • 方法一:请求时设置keep_alive
    • 方法二:设置环境变量OLLAMA_KEEP_ALIVE
      • 1. 镜像运行方式
      • 2. 普通直接安装方式
  • 二. 参考文献

一. 怎样让Ollama启动的大模型常驻内存(显存)?

  • ollamakeep_alive参数用来控制模型在内存中保留的时间。

keep_alive 参数可以设置为:

  • 一个持续时间字符串(例如 “10m” 或 “24h”)
  • 一个以秒为单位的数字(例如 3600)
  • 任何负数,这将使模型无限期地保留在内存中(例如 -1 或 “-1m”)
  • ‘0’ 这将使模型在生成响应后立即卸载

<

你可能感兴趣的:(大模型笔记,笔记,ollama,大模型,ollama常驻显存,ollama部署,ollama启动模型)