使用 PyTorch 构建 NLP 聊天机器人

使用 PyTorch 构建 NLP 聊天机器人_第1张图片

一、说明

        聊天机器人提供自动对话,可以帮助用户完成任务或寻求信息。随着深度学习的最新进展,聊天机器人正变得越来越具有对话性和实用性。这个全面的教程将利用 PyTorch 和 Python 从头开始构建聊天机器人,涵盖模型架构、数据准备、训练循环、评估和部署。

查看 JavaScript 中的自然语言处理 (NLP)(系列)

二、设置 Python 环境

我们首先需要一个环境来运行我们的聊天机器人代码。本指南使用 Python 3.8 和 PyTorch 1.12:

# Create conda env 
conda create -n chatbot python=3.8
conda activate chatbot
# Install PyTorch 
pip install torch==1.12.0+cpu torchvision==0.13.0+cpu torchaudio===0.12.0 -f https://download.pytorch.org/whl/torch_stable.html
# Check installs 
python -c "import torch; print(torch.__version__)"

这为我们提供了用于机器学习工作的最新 PyTorch 版本。

三、聊天机器人模型架构

模型架构定义了生成聊天机器人响应的数据流和计算。我们将使用基于 LSTM 的编码器-解码器架构,该架构通常用于序列到序列任务。

编码器将输入语句(例如,“天气预报是什么?”)映射到固定长度的矢量表示形式中。解码器将此表示映射到自然语言响应(例如,“今天天气晴朗,25摄氏度”)。

import torch
import torch.nn as nn
class EncoderLSTM(nn.Module):
    def __init__(self, input_size, hidden_size):
        super().__init__()  
        self.lstm = nn.LSTM(input_size, hidden_size)
    def forward(self, input):
        _, (hidden, cell) = self.lstm(input)  
        return hidden, cell
class DecoderLSTM(nn.Module): 
    def __init__(self, input_size, hidden_size):
        super().__init__()
        self.lstm = nn.LSTM(input_size, hidden_size)
    def forward(self, input):
        outputs, _ = self.lstm(input)
        return outputs
class Seq2Seq(nn.Module):
    def __init__(self, encoder, decoder): 
        super().__init__()
        self.encoder = encoder
        self.decoder = decoder

我们实例化编码器和解码器,并将它们组合成一个 Seq2Seq 模型。我们将对此进行端到端的训练。

四、准备训练数据

我们需要一个对话示例数据集来训练我们的模型。导入数据集后,我们将文本标记为整数序列:

Kaggle 托管对话语料库,如 Ubuntu 对话语料库、句子释义集合和每日对话数据集,它们提供 100k+ 对话交流。这些是免费下载和使用的。

data = load_dataset("daily_dialog")
def tokenize(text):
    return [vocab[token] for token in text.split(" ")] 
vocab = {"hello": 1, "what": 2, "is": 3, ...}
tokenized_data = data.map(tokenize)

我们可以将其拆分为训练集和验证集:

from sklearn.model_selection import train_test_split
train_data, val_data = train_test_split(tokenized_data)

五、训练循环

        准备好数据后,我们定义模型、损失准则和优化器,然后循环示例:

embed_size = 128
hidden_size = 512
model = Seq2Seq(encoder=EncoderLSTM(embed_size, hidden_size),
                decoder=DecoderLSTM(embed_size, hidden_size))
criterion = nn.NLLLoss()
optimizer = torch.optim.Adam(model.parameters())
for epoch in range(10):
    for input, target in train_data:
       output = model(input)  
       loss = criterion(output, target)
       loss.backward()  
       optimizer.step()
       optimizer.zero_grad()

        通过反复计算损失和反向传播,我们的模型学习了生成逻辑。

六、模型评估

        我们使用困惑度和 BLEU 分数等指标评估我们训练有素的聊天机器人的验证数据:

from transformers import GPT2Tokenizer
tokenizer = GPT2Tokenizer.from_pretrained("gpt2")
scores = evaluate(model, val_data, tokenizer)  
print(f"Perplexity score: {scores['perplexity']}")
print(f"BLEU score: {scores['bleu']}")

        这些度量检查模型生成的流畅性、合理性和准确性。

七、部署

        一旦我们有了一个高性能模型,我们就使用 FastAPI 将其打包到 API 中:

import fastapi
app = fastapi.FastAPI()
@app.post("/chat")
def chat(input: str):
    input = tokenize(input) 
    output = model(input)
    return {"bot": output}

API 获取输入文本,将其馈送到我们的模型以生成机器人响应,并返回预测。

八、结论

        有了它,我们在 Python 中拥有了一个功能齐全的深度学习聊天机器人,可以响应消息并进行对话!我们学习了如何对模型进行排序,例如擅长文本数据的 LSTM,在 PyTorch 中训练聊天机器人模型,并了解如何优化、改进和部署我们的创作。

        还有很多事情可以做,比如添加个性化、链接 API 数据源以获取新鲜事实、集成翻译功能等等——聊天机器人的工作永远不会完成!我喜欢指导您完成本教程,并希望您能使用这些新技能来构建您的智能聊天应用程序。

九、常见问题解答

  • 为什么 PyTorch 更适合聊天机器人而不是 TensorFlow 或其他库?

我不会说它一定更好,但 PyTorch 的急切执行(动态计算而不是静态图)可以使迭代和调试更容易。所有主要框架都有其优势。选择你喜欢与之合作的人!

  • 我需要多少数据来训练一个好的聊天机器人?

没有硬性门槛,但一般来说,对话数据越多越好。数十万到数百万个对话示例对于生成类似人类的响应并非不切实际。利用预先训练的语言模型检查点也有帮助。

  • 需要什么样的硬件计算能力?我可以在本地或笔记本电脑上运行复杂的模型吗?

建议使用 GPU 加速,以获得除最基本原型之外的所有原型的良好性能。如果您没有认真的硬件,云服务提供 GPU 甚至量子加速训练!但要开始在本地进行试验,稍后再扩大规模。

  • 除了聊天机器人,我还可以使用 PyTorch 探索哪些其他 NLP 应用程序?

吨!文本分类、语义搜索、语法校正、预测类型、文档摘要、语言翻译......天空是无限的!PyTorch 拥有出色的文本支持和活跃的开发人员社区。

你可能感兴趣的:(NLP高级和ChatGPT,人工智能,pytorch,pytorch,自然语言处理,机器人)