简单研究一下 OpenAI 的官方文档

文档地址：https://platform.openai.com/docs/
接口说明：https://platform.openai.com/docs/api-reference

一、概览

OpenAI API 可直接调用模型接口，也可在线微调（不过只能微调GPT-3系列模型）。
本小节主要介绍 tokenizer 和 model。

• Tokens：对于英语，1个token平均是4个字符，0.75个单词；中文大概是2个token一个汉字。API限制了 prompt+生成内容 的 token 总数不能超过模型的最大上下文长度（大多数上限都是 2048 个token，大约 1500 个单词）。这个地址 可以测试 token 数量。这里用的和 GPT2 类似的 tokenizer。也可以用 openai 开源的 tokenize 工具 tiktoken (真是起名鬼才)。
  
• Models：详细模型列表点击这里。可用 gpttools 对比各个model的输出及相应时间。
  
  几个常用的：
  • gpt-4：更擅长推理，8192 tokens
  • gpt-4-32k： 更大窗口，32768 tokens
  • gpt-3.5-turbo：GPT-3.5的对话版，4096 tokens，对话时可以先通过传入类似 {"role": "system", "content":"你是一个程序员"} 引导模型身份, 然后再通过 user 和 assistant 交替的形式实现多轮对话
  • text-davinci-003：指令微调+RLHF，4097 tokens
  • text-davinci-002：只有指令微调，4097 tokens
  • code-davinci-002：代码生成，8001 tokens
  • text-embedding-ada-002：详见官网，用于文本向量化，窗口 8192 tokens，维度 1536
    
  • text-moderation-latest：文本审核模型，包括 hate, hate/threatening, self-harm, sexual, sexual/minors, violence, and violence/graphic 这几个类
  • 其他模型性能一般的就不过多介绍了。

二、使用

可以直接python安装openai库，也可以发送post请求

2.1 方式一：openai python 库

安装：

$ pip install openai

运行：

import os
import openai

# Load your API key from an environment variable or secret management service
openai.api_key = os.getenv("OPENAI_API_KEY")

response = openai.Completion.create(
	model="text-davinci-003", 
	prompt="Say this is a test", 
	temperature=0, # 控制多样性，越接近1 多样性越大
	max_tokens=7
)

2.2 方式二：post请求

post请求接口调用，可参考下面这个表：

以 gpt-3.5-turbo 的调用方式为例：

curl https://api.openai.com/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -d '{
    "model": "gpt-3.5-turbo",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

必填参数是 model 和 message，可选参数如下：

• temperature：float 类型，默认值为 1。控制采样，可选0-2之间的值，小于0.2生成的东西就很确定，大于0.8就很多样。建议和下面 top_p 二选一，不要一起用。

• top_p：float 类型，默认值为 1。控制采样前 top_p 概率的token，可选0-1之间的值。

• n：int 类型，默认值为 1。一次性生成多少个可选结果。

• max_tokens：int 类型，默认值为 inf。生成的最大token数量。

• stop：str 或 list 类型，默认值为 null。用于早停，生成内容包含stop时停止生成。

• stream：bool 类型，默认值为 false。如果开启，就会流式返回，就跟chatGPT似的一个字儿一个字儿往外出。

• presence_penalty：float 类型，默认值为 0。可选 -2.0 到 2.0。若为正数，越大越禁止模型生成输入中包含的重复内容，用于主题发散。

• logit_bias：json 类型，默认值为 null。用来控制某些 token 的生成概率。数值是 -100 到 100，-100 相当于尽量别生成这个词，100 相当于一定要生成这个词。

• frequency_penalty：float 类型，默认值为 0。可选 -2.0 到 2.0。若为正数，越大越禁止模型生成整体高频词，用于避免重复生成。

• user：str 类型，可自己定义并标识用户id以防滥用。

此外，关于 bearer token 用于认证，可参考这篇文章。

三、限制

两者限制方式：RPM（每分钟request数）和 TPM（每分钟token数）

四、定价

详见：https://openai.com/pricing
常用的几个：

• gpt-4 和 gpt-4-32k：8k版本平均 $0.045 / 1000 tokens，差不多 3 毛钱 500 汉字
  

• gpt-3.5-turbo：ChatGPT，大约 0.0138 元 1000 tokens，差不多 1.38 元 5w 汉字
  

• text-davinci-003：$0.02 / 1K tokens（比 gpt-3.5-turbo 贵 10 倍）

• text-embedding-ada-002：$0.0004 / 1K tokens（差不多 2.8 元 100w token，50w汉字）