Instruct and Extract: Instruction Tuning for On-Demand Information Extraction

本文是LLM系列文章，针对《Instruct and Extract: Instruction Tuning for On-Demand Information Extraction》的翻译。

摘要

具有指令跟随功能的大型语言模型为更广泛的用户群体打开了大门。然而，当涉及到信息提取（自然语言处理中的经典任务）时，大多数特定于任务的系统无法很好地与非专家用户的长尾特别提取用例保持一致。为了解决这一问题，我们提出了一种新的范式，称为按需信息提取，以满足现实世界用户的个性化需求。我们的任务旨在按照说明从相关文本中提取所需内容，并以结构化表格格式呈现。表标题可以是用户指定的，也可以是模型根据上下文推断的。为了促进这一新兴领域的研究，我们提出了一个名为InstructionIE的基准，包括自动生成的训练数据和人工注释的测试集。在Instructionie的基础上，我们进一步开发了一个按需信息提取器ODIE。对我们基准的全面评估表明，ODIE大大优于现有的类似规模的开源模型。我们的代码和数据集发布于https://github.com/yzjiao/On-Demand-IE.

1 引言

2 相关工作

3 INSTRUCTIE数据集

4 实验

5 结论

本文介绍了一项新任务，即按需信息提取，通过根据指令提取内容，并将其组织在具有用户指定或模型推断标题的表中，来满足用户的个性化需求。为了对这项新任务进行基准测试，我们构建了一个全面的数据集Instructionie，包括合成的训练数据和人工注释的测试数据。我们开发的模型ODIE在大量实验中优于现有的开源模型。

局限性

尽管本文通过引入按需信息提取任务和构建Instructionie数据集为研究领域做出了贡献，但它仍然存在以下局限性：
1.模型大小和数据约束：本文的实验主要集中在7B模型的使用上。由于计算资源有限，无法探究不同模型大小的影响以及使用更大数据集的潜在好处。模型大小和数据量方面的可扩展性将如何影响随需应变信息提取任务的性能和效率，这仍然是一个悬而未决的问题。
2.直接和CoT方法的结合：在我们的实验分析中，在按需信息提取任务中分别讨论和评估了Direct和CoT方法。然而，将这两种方法结合起来的潜在协同效应尚未得到研究。它可能会深入了解任务的不同维度，或进一步提高模型性能。
3.评估指标：当前实验中使用的评估指标主要是检测模型输出和基本事实之间的总体相似性。然而，鉴于表结构的灵活性，必须有能够以更细粒度的方式评估表构建和信息组织的准确性和质量的评估指标。开发更有效、更精确的评估指标对于稳健地评估我们的按需信息提取任务的不同方面是必要的。
4.上下文推断和复杂指令：正如结论中所强调的，当前模型在上下文推断表结构和处理复杂指令方面有改进的空间。这种限制可能会影响实用性和用户体验，尤其是对于那些不是领域专家并且可能不知道如何优化查询的用户。增强模型在这些领域的功能对于确保随需应变IE任务对广泛的用户来说是可访问和友好的至关重要。