openAI，fine-tuning的示例代码
我们将微调一个ada分类器来区分两个运动：棒球和曲棍球
首先，你需要安装openai的Python包：
pip install openai
- 先准备并处理数据
from sklearn.datasets import fetch_20newsgroups
import pandas as pd
import openai
categories = ['rec.sport.baseball', 'rec.sport.hockey']
sports_dataset = fetch_20newsgroups(subset='train', shuffle=True, random_state=42, categories=categories)
labels = [sports_dataset.target_names[x].split('.')[-1] for x in sports_dataset['target']]
texts = [text.strip() for text in sports_dataset['data']]
df = pd.DataFrame(zip(texts, labels), columns = ['prompt','completion']) #[:300]
df.head()
df.to_json("sport2.jsonl", orient='records', lines=True)
- 用openai的工具进行数据预处理
!openai tools fine_tunes.prepare_data -f sport2.jsonl -q
我们运行以下命令来训练数据集。由于这是一个分类任务，我们想知道在提供的验证集上的泛化性能，以用于我们的分类应用场景。该工具建议添加–compute_classification_metrics --classification_positive_class "baseball"以计算分类指标。
我们可以直接从CLI工具复制建议的命令。我们特别添加了-m ada来微调一个更便宜和更快的ada模型，通常在分类应用场景中与更慢更昂贵的模型相当。
!openai api fine_tunes.create -t "sport2_prepared_train.jsonl" -v "sport2_prepared_valid.jsonl" --compute_classification_metrics --classification_positive_class " baseball" -m ada
- 我们现在可以下载结果文件，观察在保留的验证集上的预期性能。
!openai api fine_tunes.results -i ft-2zaA7qi0rxJduWQpdvOvmGn3 > result.csv
- 用代码查看训练结果
results = pd.read_csv('result.csv')
results[results['classification/accuracy'].notnull()].tail(1)
results[results['classification/accuracy'].notnull()]['classification/accuracy'].plot()
- 调用模型，加载校验数据
test = pd.read_json('sport2_prepared_valid.jsonl', lines=True)
test.head()
我们需要使用与微调期间相同的分隔符，即\n\n###\n\n。在这种情况下，由于我们关心分类，因此我们希望温度尽可能低，并且只需要一个标记完成来确定模型的预测。
ft_model = 'ada:ft-openai-2021-07-30-12-26-20'
res = openai.Completion.create(model=ft_model, prompt=test['prompt'][0] + '\n\n###\n\n', max_tokens=1, temperature=0)
res['choices'][0]['text']
为了获取对数概率，我们可以在完成请求上指定logprobs参数。
res = openai.Completion.create(model=ft_model, prompt=test['prompt'][0] + '\n\n###\n\n', max_tokens=1, temperature=0, logprobs=2)
#查看结果
print(res['choices'][0]['logprobs']['top_logprobs'][0])
过请求log_probs，我们可以看到每个类别的预测（对数）概率。