ollama部署及实践记录,虚拟环境，pycharm等

我的环境：ubutu 24.05

0.相关命令

kt@kt4028:~/myproject/ollama-linux$ ollama --help
Large language model runner

Usage:
  ollama [flags]
  ollama [command]

Available Commands:
  serve       Start ollama
  create      Create a model from a Modelfile
  show        Show information for a model
  run         Run a model
  stop        Stop a running model
  pull        Pull a model from a registry
  push        Push a model to a registry
  list        List models
  ps          List running models
  cp          Copy a model
  rm          Remove a model
  help        Help about any command

Flags:
  -h, --help      help for ollama
  -v, --version   Show version information

Use "ollama [command] --help" for more information about a command.

1.

curl -fsSL https://ollama.com/install.sh | sh

2.创建虚拟环境

conda create -n ollama_env python=3.10

3.下载测试模型

Qwen2.5-7B-Instruct-GPTQ-Int4

4.验证

ollama --version

5.启动

ollama serve

 6.验证

7.pycharm 新建项目

8.安装依赖

pip install ollama

8.1拉取

ollama run qwen2.5:7b

 

(ollama_env) kt@kt4028:~/myproject/ollama$ ollama run qwen2.5:7b
pulling manifest 
pulling 2bada8a74506... 100% ▕███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 4.7 GB                         
pulling 66b9ea09bd5b... 100% ▕███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏   68 B                         
pulling eb4402837c78... 100% ▕███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 1.5 KB                         
pulling 832dd9e00a68... 100% ▕███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  11 KB                         
pulling 2f15b3218f05... 100% ▕███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  487 B                         
verifying sha256 digest 
writing manifest 
success 
>>> 你是谁？
我是Qwen，一个由阿里云开发的大型语言模型，旨在帮助用户生成各种类型的文本，如文章、故事、诗歌等，并能回答问题和进行对话。我可以讲多种语言，致力于提供有用和准确的信息。如果您有任何问题或需要帮助，请随时告诉我！

9.新建测试代码

import ollama

# 初始化 Ollama 客户端
client = ollama.Client(host='http://127.0.0.1:11434')

# 提示词
prompt = """
生成一个适合儿童的成语故事，故事应该包含以下部分：
1. 故事开头：小动物遇到困难。
2. 故事中间：动物朋友们帮助解决问题。
3. 故事结尾：小动物学会了团结的重要性。

同时为每个部分生成背景音乐和图片的提示词。
"""

# 调用 Qwen-7B-Chat-Int4 模型生成故事
response = client.generate(model='qwen2.5:7b', prompt=prompt)

# 解析生成结果
story = response['response']
print("生成的故事：")
print(story)

# 提取背景音乐提示
music_prompts = [
    "森林背景音乐，轻快的旋律，带有鸟鸣声",
    "温暖的音乐，带有友情的元素",
    "欢快的音乐，带有庆祝的氛围"
]

# 提取图片提示
image_prompts = [
    "小动物在森林中遇到困难，表情无助",
    "动物朋友们围在一起互相帮助，表情温暖",
    "小动物和朋友们一起庆祝胜利，背景是阳光明媚的森林"
]

print("\n背景音乐提示词：")
for prompt in music_prompts:
    print(prompt)

print("\n图片提示词：")
for prompt in image_prompts:
    print(prompt)

(ollama_env) kt@kt4028:~/myproject/ollama$ python ceshi.py
生成的故事：
### 成语故事《团结就是力量》

#### 背景音乐提示词：
- 动物鸣叫环绕乐曲（模拟森林的环境音）
- 温馨的家庭温暖旋律
- 传统的中国古风弦乐

#### 图片提示词：
1. 小动物们在一片广阔的草地上活动，背景有绿油油的草地和五彩斑斓的小花。
2. 小动物们的脸上表情丰富，有的焦急、有的困惑，表现出面对困难时的不同反应。
3. 一群团结一致的小动物们围坐在一起讨论问题的情景。
4. 成功解决问题后，小动物们开心地庆祝场景。

### 故事正文

#### 背景音乐提示词：
- 悦耳的自然之声
- 温馨的家庭温暖旋律

目前就这些