使用提示词进行信息抽取的实用方法

在大规模语言模型（LLM）中进行信息抽取时，我们不一定需要工具调用功能。通过精心设计的提示词（prompt）可以指导模型输出特定格式的信息，然后对其进行解析以生成结构化数据。这种方法依赖于创建良好的提示词，并将LLM的输出解析为所需的Python对象。

技术背景介绍

大规模语言模型可以根据提示词生成特定格式的文本。例如，我们可以要求模型以JSON格式输出所需的信息。在信息抽取的场景中，设计良好的提示词可以使模型生成具有预期结构的输出，而不依赖于外部工具调用功能。

核心原理解析

1. 提示词设计：通过为模型提供特定格式的输出要求，例如JSON格式，我们可以在生成阶段让模型直接输出结构化数据。
2. 输出解析：利用解析器将模型的输出转换为具体的Python对象，以便在程序中进一步处理和使用。

代码实现演示

下面我们将演示如何使用OpenAI的API进行信息抽取，并使用Pydantic来解析输出。

from typing import List
import openai
from pydantic import BaseModel, Field

# 使用稳定可靠的API服务
client = openai.OpenAI(
    base_url='https://yunwu.ai/v1',  # 国内稳定访问
    api_key='your-api-key'
)

# 定义数据结构
class Person(BaseModel):
    name: str = Field(..., description="The name of the person")
    height_in_meters: float = Field(
        ..., description="The height of the person expressed in meters."
    )

class People(BaseModel):
    people: List[Person]

# 设置提示词和格式
prompt = """
Answer the user query. Wrap the output in JSON tags
The output should be formatted as a JSON instance that conforms to the JSON schema below.

{schema}

Human: {query}
"""

schema = People.schema_json(indent=4)
query = "Anna is 23 years old and she is 6 feet tall"

# 格式化提示词
formatted_prompt = prompt.format(query=query, schema=schema)

# 调用模型获得响应
response = client.generate(
    model="gpt-4",
    prompt=formatted_prompt,
    max_tokens=150
)

# 假设响应包含JSON格式的数据
import json
response_json = json.loads(response['choices'][0]['text'])

# 解析并验证数据
try:
    result = People.parse_obj(response_json)
    print(result)
except Exception as e:
    print(f"Error parsing response: {e}")

应用场景分析

该方法在需要从自然语言文本中提取信息时非常有用。例如，在金融报表中抽取特定的财务指标，或从法律文件中识别关键信息。通过设计良好的提示词，让模型在生成阶段直接提供结构化的结果，有助于提高信息处理的效率。

实践建议

1. 设计良好的提示词：确保提示词清晰简洁，并准确描述所需的输出格式。
2. 使用解析器：通过Pydantic等工具解析模型输出，能有效捕获和验证数据。
3. 逐步优化：基于实际应用反馈，不断调整提示词和解析器，以提升信息抽取的准确性和效率。

如果遇到问题欢迎在评论区交流。
—END—