实测_GPT_Assistant

1 资源

• openai 客户端源码：

  https://github.com/openai/openai-python/

• openai 各种 API 示例：

  https://platform.openai.com/examples

• assistant 示例：

  https://platform.openai.com/docs/assistants/overview

2 Assistant 功能

• 代码解释器
• 检索功能
• 函数调用

3 操作步骤

(较之前的api略复杂)

• 升级 openai api

pip install --upgrade openai

• 创建 Assistant，定义其 instruction 并选择模型，如果需要，设置代码解释器、检索和函数调用功能。

assistant = client.beta.assistants.create(
    name="Math Tutor",
    instructions="You are a personal math tutor. Write and run code to answer math questions.",
    tools=[{"type": "code_interpreter"}],
    model="gpt-4-1106-preview"
)

• 开始对话时，创建一个线程。

thread = client.beta.threads.create()

• 随着用户提出问题，向线程添加消息。

message = client.beta.threads.messages.create(
    thread_id=thread.id,
    role="user",
    content="I need to solve the equation `3x + 11 = 14`. Can you help me?"
)

• 在线程上运行助手以触发回应，此时自动调用相关的工具。

run = client.beta.threads.runs.create(
  thread_id=thread.id,
  assistant_id=assistant.id,
  instructions="Please address the user as Jane Doe. The user has a premium account."
)

• 查询状态

run = client.beta.threads.runs.retrieve(
  thread_id=thread.id,
  run_id=run.id
)

• 显示消息（收/发）

messages = client.beta.threads.messages.list(
  thread_id=thread.id
)

• 注意
  • 如果对 Python 程序不熟悉，可以在 Playground 界面中操作

4 实测：文档解析

上传了一个 markdown 文件，希望提取出子标题下的内容，使用 GPT4 Turbo 模型。

4.1 测试一：一次提问多个问题

• 数据：上传 XXX 合同文档（人名脱敏），约 7K 左右，2K 汉字。
• 问题：请从上传的文档中提取核心项 ‘aaa’,‘bbb’,‘ccc’,‘ddd’，使用原文回答。
• 运行结果：
  • 执行时间：该次提问约 30s 返回（不包含上传文档及解析时间）
  • 返回结果：返回结构基本是对的，返回的核心项内容无法直接使用：不是原文，是经过提炼的内容，50-60% 意思对，但内容对不上，有点像”复述课文“。

4.2 测试二：单独提问（测试两次不同项）

• 数据：同上
• 回答：请在文中找 “aaa” 对应的数据块，用原文回答，不要加其它内容。
• 运行结果：
  • 回复内容：219 中文字符 0.09$，190 中文字符 0.14$
  • 单次返回时间约 10-15s 左右
  • 其中一个回答基本是对的；另一个文本是对的，但没包含数据表

（具体测试结果见 GPT_Assistant_测试附图，涉及私有数据，不便公开）

5 分析讨论

(以下均为个人看法，只测试了少量内容，不一定正确)

5.1 合并提问

• 如果一次问一个问题，正确率比较高，可能由于每次都需要把检索到的内容也传给模型，所以总计 token 计费大于问题和答案之和。
• 同时提问多个问题正确率低，一方面可能是模型生成问题，也可能由于不同答案位于不同数据块内，无法一次送入模型。

5.2 价格

• 我的每次检索数据相关提问至少在 0.1$ 左右，可能由于先检索，然后把检索的内容和问题一起送入 GPT4-Turbo 计算，这样每次提问，至少包含问题、答案和一个检索块的大小（如 512token），而且单块可能还不止 512token，也可能不止一个备选块。
• 目前在测试阶段，上传文档时解析好像没算钱（Embedding 也比较便宜）存储和检索也没算钱。
• 实测费用感觉明显高于问题和答案的累计，可能是由于 Assistant 默认记忆历史对话，并将历史对话代入当前计算，也被计入了 token。因此，在使用 playground 或程序调用时，如果不需要考虑历史对话，注意点击右上角 Clear 清除历史对话。

5.3 其它发现

• 不开通 GPT4 20$ 包月的情况下，也可以测试 GPT4-Turbo，可能是由于第一个月免费。具体按 GPT4-Turbo 调用计费（价格约为 GPT3.5 的 10 倍）。
• assistant 不仅支持 GPT4 Turbo，还支持 GPT3.5 Turbo (gpt-3.5-turbo-1106, gpt-4-1106-preview)

5.4 个人感觉

• 关键字最好与原文一致，对于某些专业领域，模型对近义词的理解能力略差。
• ”用原文作答“或者”在原文中定位“对于解决幻觉问题比较重要，个人感觉效果一般，价格小贵。
• 在不用原文作答时，如果是判断或者选择题，还能比较客观地评价；对于开放性问题，用户很难判断回答是否准确。
• 用它解析局部的问题还行，整个方案都交给他可能还是不太行。
• 这几个月像 langchain，llamaindex，GPT 学术已经把周边的内容做得很细化了，OPENAI 的 assistant 用起来比较省事，但效果未必更好。