简单研究一下 OpenAI 的官方文档

文档地址:https://platform.openai.com/docs/
接口说明:https://platform.openai.com/docs/api-reference

一、概览

OpenAI API 可直接调用模型接口,也可在线微调(不过只能微调GPT-3系列模型)。
本小节主要介绍 tokenizer 和 model。

  • Tokens:对于英语,1个token平均是4个字符,0.75个单词;中文大概是2个token一个汉字。API限制了 prompt+生成内容 的 token 总数不能超过模型的最大上下文长度(大多数上限都是 2048 个token,大约 1500 个单词)。这个地址 可以测试 token 数量。这里用的和 GPT2 类似的 tokenizer。也可以用 openai 开源的 tokenize 工具 tiktoken (真是起名鬼才)。
    简单研究一下 OpenAI 的官方文档_第1张图片
  • Models:详细模型列表点击这里。可用 gpttools 对比各个model的输出及相应时间。
    简单研究一下 OpenAI 的官方文档_第2张图片
    几个常用的:
    • gpt-4:更擅长推理,8192 tokens
    • gpt-4-32k: 更大窗口,32768 tokens
    • gpt-3.5-turbo:GPT-3.5的对话版,4096 tokens,对话时可以先通过传入类似 {"role": "system", "content":"你是一个程序员"} 引导模型身份, 然后再通过 userassistant 交替的形式实现多轮对话
    • text-davinci-003:指令微调+RLHF,4097 tokens
    • text-davinci-002:只有指令微调,4097 tokens
    • code-davinci-002:代码生成,8001 tokens
    • text-embedding-ada-002:详见官网,用于文本向量化,窗口 8192 tokens,维度 1536
      简单研究一下 OpenAI 的官方文档_第3张图片
    • text-moderation-latest:文本审核模型,包括 hate, hate/threatening, self-harm, sexual, sexual/minors, violence, and violence/graphic 这几个类
    • 其他模型性能一般的就不过多介绍了。

二、使用

可以直接python安装openai库,也可以发送post请求

2.1 方式一:openai python 库

安装:

$ pip install openai

运行:

import os
import openai

# Load your API key from an environment variable or secret management service
openai.api_key = os.getenv("OPENAI_API_KEY")

response = openai.Completion.create(
	model="text-davinci-003", 
	prompt="Say this is a test", 
	temperature=0, # 控制多样性,越接近1 多样性越大
	max_tokens=7
)

2.2 方式二:post请求

post请求接口调用,可参考下面这个表:

简单研究一下 OpenAI 的官方文档_第4张图片
以 gpt-3.5-turbo 的调用方式为例:

curl https://api.openai.com/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -d '{
    "model": "gpt-3.5-turbo",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

必填参数是 model 和 message,可选参数如下:

  • temperature:float 类型,默认值为 1。控制采样,可选0-2之间的值,小于0.2生成的东西就很确定,大于0.8就很多样。建议和下面 top_p 二选一,不要一起用。

  • top_p:float 类型,默认值为 1。控制采样前 top_p 概率的token,可选0-1之间的值。

  • n:int 类型,默认值为 1。一次性生成多少个可选结果。

  • max_tokens:int 类型,默认值为 inf。生成的最大token数量。

  • stop:str 或 list 类型,默认值为 null。用于早停,生成内容包含stop时停止生成。

  • stream:bool 类型,默认值为 false。如果开启,就会流式返回,就跟chatGPT似的一个字儿一个字儿往外出。

  • presence_penalty:float 类型,默认值为 0。可选 -2.0 到 2.0。若为正数,越大越禁止模型生成输入中包含的重复内容,用于主题发散。

  • logit_bias:json 类型,默认值为 null。用来控制某些 token 的生成概率。数值是 -100 到 100,-100 相当于尽量别生成这个词,100 相当于一定要生成这个词。

  • frequency_penalty:float 类型,默认值为 0。可选 -2.0 到 2.0。若为正数,越大越禁止模型生成整体高频词,用于避免重复生成。

  • user:str 类型,可自己定义并标识用户id以防滥用。

此外,关于 bearer token 用于认证,可参考这篇文章。

三、限制

两者限制方式:RPM(每分钟request数)和 TPM(每分钟token数)
简单研究一下 OpenAI 的官方文档_第5张图片

四、定价

详见:https://openai.com/pricing
常用的几个:

  • gpt-4gpt-4-32k:8k版本平均 $0.045 / 1000 tokens,差不多 3 毛钱 500 汉字
    简单研究一下 OpenAI 的官方文档_第6张图片

  • gpt-3.5-turbo:ChatGPT,大约 0.0138 元 1000 tokens,差不多 1.38 元 5w 汉字
    在这里插入图片描述

  • text-davinci-003:$0.02 / 1K tokens(比 gpt-3.5-turbo 贵 10 倍)

  • text-embedding-ada-002:$0.0004 / 1K tokens(差不多 2.8 元 100w token,50w汉字)

你可能感兴趣的:(人工智能,python,机器学习)