一起学Hugging Face Transformers（8）- 使用Transformers 库制作一个简易问答系统

---

前言

问答系统是一种能够自动回答用户问题的人工智能应用，在许多领域具有重要的应用价值，如客户服务、教育和医疗等。Hugging Face Transformers 库是一个强大的工具，它提供了许多预训练的自然语言处理模型，简化了构建问答系统的过程。本文将介绍如何使用 Hugging Face Transformers 库创建一个问答系统。

一、 环境准备

在开始之前，需要准备好开发环境。确保安装了 Python，并配置了相应的依赖库。

pip install transformers torch

同时，推荐使用 Jupyter Notebook 进行开发，这样更方便测试和调试代码。

二、 数据准备

选择合适的问答数据集是构建问答系统的关键。本文将使用著名的 SQuAD 数据集，它包含了大量的问题和对应的答案。

from datasets import load_dataset

dataset = load_dataset("squad")

SQuAD 数据集提供了训练集和验证集，可以用来训练和评估模型。

三、 模型选择与加载

Hugging Face 提供了多种预训练模型，可以用于问答任务。我们将使用 DistilBERT，这是一种轻量级的 BERT 变体。

from transformers import AutoTokenizer, AutoModelForQuestionAnswering

tokenizer = AutoTokenizer.from_pretrained("distilbert-base-uncased")
model = AutoModelForQuestionAnswering.from_pretrained("distilbert-base-uncased")

四、 构建问答系统

使用预训练模型进行推理非常简单。首先，我们需要对输入问题和上下文进行编码。

def answer_question(question, context):
    inputs = tokenizer.encode_plus(question, context, add_special_tokens=True, return_tensors="pt")
    input_ids = inputs["input_ids"].tolist()[0]

    output = model(**inputs)
    answer_start_scores = output.start_logits
    answer_end_scores = output.end_logits

    answer_start = torch.argmax(answer_start_scores)
    answer_end = torch.argmax(answer_end_scores) + 1

    answer = tokenizer.convert_tokens_to_ids(input_ids[answer_start:answer_end])
    answer = tokenizer.decode(answer)

    return answer

context = "Hugging Face Inc. is a company based in New York City. Its headquarters are in DUMBO, therefore very close to the Manhattan Bridge."
question = "Where is Hugging Face based?"
print(answer_question(question, context))

五、 模型评估与优化

为了评估模型的性能，可以使用 SQuAD 数据集中的验证集进行测试。可以计算准确率和召回率等指标，来衡量模型的表现。

from datasets import load_metric

metric = load_metric("squad")
predictions = []
references = []

for sample in dataset["validation"]:
    context = sample["context"]
    question = sample["question"]
    prediction = answer_question(question, context)
    reference = sample["answers"]["text"][0]
    predictions.append(prediction)
    references.append(reference)

metric.compute(predictions=predictions, references=references)

六、 部署问答系统

一旦模型通过了测试，可以将其部署为 Web 应用或 API 服务。可以使用 Flask 或 FastAPI 等框架来实现。

from flask import Flask, request, jsonify

app = Flask(__name__)

@app.route('/answer', methods=['POST'])
def answer():
    data = request.json
    question = data['question']
    context = data['context']
    answer = answer_question(question, context)
    return jsonify({'answer': answer})

if __name__ == '__main__':
    app.run()

七、 实际案例分析

在实际应用中，问答系统可以用于各种场景，例如在线客户服务。通过集成到企业的网站或应用中，问答系统可以自动回答用户的常见问题，提高效率和用户满意度。

总结

本文介绍了如何使用 Hugging Face Transformers 库构建一个简单的问答系统。从环境准备、数据处理、模型选择到系统部署，涵盖了问答系统开发的各个方面。未来，可以通过微调模型、增加数据集规模等方法，进一步提升问答系统的性能和实用性。

参考资料

• Hugging Face Transformers 官方文档
• SQuAD 数据集
• Flask 官方文档