python调用ollama本地部署的deepseek

说明

在本地主机上调用局域网内使用ollama部署好的deepseek。之前的文章中已经部署好,并调试通的网络,现在需要使用python能调用deepseek的API,便于后续的模型探索和应用开发。

但是百度了很多,没一个能用的,各种无脑的复制粘贴,最后还是老实得去看官方文档,还是自己记录一下比较好。

正文

使用ollama的python lib包进行deepseek的调用。

pypyi地址:ollama · PyPI

第一步

pip install ollama

第二步

直接使用ollama的API接口调用deepseek服务。具体说明已经注释。

from ollama import Client

# 以下代码都可以从pypi中的ollama接口文档中得到
client = Client(
  host='http://192.168.1.222:11434',    #局域网内使用ollama启动大语言模型的主机地址
)

response = client.chat(
    model='deepseek-r1:7b', # 本地ollama中部署的大语言模型名称
    messages=[
  {'role': 'user','content': '十二生肖有那几个',},
    ],
    stream=True             # Flase:关闭数据流形式,True:开启数据流形式
)

# 完整结果输出
# print(response.message.content)

# 数据流形式输出
for chunk in response:
    print(chunk['message']['content'],end='\n',flush=True)

你可能感兴趣的:(python,开发语言)