【自然语言处理】【实体匹配】AutoBlock：一个用于实体匹配的自动化Blocking框架

AutoBlock：一个用于实体匹配的自动化Blocking框架 《AutoBlock: A Hands-off Blocking Framework for Entity Matching》

论文地址：https://arxiv.org/pdf/1912.03417.pdf

相关博客：
【自然语言处理】【实体匹配】CollaborER：使用多特征协作的自监督实体匹配框架
【自然语言处理】【实体匹配】AutoBlock：一个用于实体匹配的自动化Blocking框架
【自然语言处理】【实体匹配】用于实体匹配中blocking环节的深度学习：一个设计空间的探索
【自然语言处理】【实体匹配】PromptEM：用于低资源广义实体匹配的Prompt-tuning

一、简介

​ 实体匹配$(\text{Entity Matching})$的目标是从单个或者多个数据源中确定出指向相同实体的数据记录$(\text{data record})$。每个大型匹配数据集都需要blocking，其是一个减少匹配record对数量的步骤。然而，大多数blocking方法是基于key且不需要学习的，其成功是建立在干净数据上的人工努力。

​ 本文中提出了$\text{AutoBlock}$，一个基于表示学习和最近邻搜索的blocking框架。贡献包括：(a) $\text{Automation}$：$\text{AutoBlock}$从大量人工清洗数据和blocking key调整中解放了用户；(2) $\text{Scalability}$：$\text{AutoBlock}$具有次均分时间复杂度，并能够轻易应用在上百万records；(3) $\text{Effectiveness}$：$\text{AutoBlock}$在多个大规模、现实数据集上优于各类baselines，特别是在dirty和unstructured数据集。

二、问题定义

​ 假设数据集由$n$个tuple组成，并且每个tuple有$m$个属性。定义第$i$个tuple为${\text{x}}_i\triangleq [{\text{a}}_{i1},{\text{a}}_{i2},\dots ,{\text{a}}_{im}]$，其中${\text{a}}_{ij}$是${\text{x}}_i$的第$j$个属性。使用$[n]$作为集合$\{1,2,\dots ,n\}$的简写。以这种方式，每个属性值${\text{a}}_{ij}$可以被表示为token序列$[w_{ijk}{]}_{k=1}^{l_{ij}}$，其中$l_{ij}$是${\text{a}}_{ij}$的序列长度，并且$w_{ijk}$是第$k$个token。假设所有的token是从统一的词表$\mathcal{V}$采样得到。这里强调用于非标准文本的统一词表$\mathcal{V}$的两个重要属性：(a) 开放：$\mathcal{V}$能够包含词表外的token并有无线的基数；(b) 缺失值普遍，许多的$l_{ij}$是0。

• blocking的正式定义

​ 给定一个具有$n$个tuple的数据源$\text{X}\triangleq [{\text{x}}_1,\dots ,{\text{x}}_n]$，blocking输出一个候选对子集$C\subseteq [n]\times [n]$，对于任意的$(i,i^{\prime })\in C$，tuple $x_i$和$x_{i^{\prime }}$很可能指向相同的实体。

Remark：高召回对blocking最重要，然而控制$C$的尺寸来达到预筛选匹配的目标。

​ 除了tuple集合$\text{X}$，还假设能够访问正样本集合$\mathcal{L}\subseteq [n]\times [n]$，对于所有的$(i,i^{\prime })\in \mathcal{L}$，$({\text{x}}_i,{\text{x}}_i^{\prime })$都是匹配的。可以使用确定的强key来获得正标签，或者通过人工标注。这个$\mathcal{L}$也可以用于下游的匹配算法，其无论如何都需要收集正样本，所以blocking阶段对$\mathcal{L}$的需求并不会引入更多的人工努力。

三、超越Blocking：最近邻搜索

​ 假设存在一个完美的相似度度量，并且不考虑效率，那么就可以使用最近邻搜索来实现blocking。将这个解决方案称为最近邻居blocking，并如下算法描述：

算法1：最近邻blocking

输入：tuple集合$\text{X}$，相似度度量$\sigma (\cdot ,\cdot )$，阈值$\theta$

输出：候选对$C$

$C=\varnothing$

for $i=1,\dots ,n$ do

    $C=C\cup \{(i,i^{\prime })|\sigma ({\text{x}}_i,{\text{x}}_{i^{\prime }})>\theta ,\forall i^{\prime }<i\}$

​ 事实上，现有的各种blocking方法都可以看作是最近邻blocking的特例，只是具有不同的相似度度量。例如，在传统基于key的blocking方法是二元相似度度量。这个观察也揭示了为什么这些方法容易受到非规范化数据影响：这些方法依赖精确的字符串匹配并且粒度太粗。

​ 另一个例子是$\text{MinHash blocking}$，基于集合相似度。$\text{MinHash blocking}$先把每个tuple转换为代表性片段的集合，然后基于集合表示来度量tuple的相似度。$\text{Jaccard}$相似度和$\text{LSH}$被用于提供最近邻的高效近似。然而，$\text{Jaccard}$相似度仅能捕获tuple间的词级相似度，对于需要语法或者语义相似度的困难领域可能是次优解。

架构概述

​ 本文的框架$\text{AutoBlock}$遵循最近邻blocking方案，并利用正标签集合来学习相似度度量。如上图所示，$\text{AutoBlock}$的整体框架由5个步骤组成。步骤(1)-(4)共同形成了设计问题$\text{Q1}$的解决方案，步骤(5)则是$\text{Q2}$的解决方案。下面简要描述5个步骤：

• Token嵌入

  词嵌入模型将每个token转换为token嵌入向量。

• Attribute嵌入

  对于tuple的每个属性值，一个基于注意力机制的神经网络编码器将token嵌入向量序列转换为一个属性嵌入像。

• Tuple signature

  多个signature函数将每个tuple的属性嵌入向量合并，产生多个tuple的signatures。

• 模型训练

  该模型使用标注数据集，训练的目标是最大化匹配的tuple的cosine相似度。

• 快速最近邻搜索

  训练好的模型被应用于计算所有tuple的signature，使用cosine相似度来为每个tuple检索最近邻来生成blocking的候选对。

四、$\text{AutoBlock}$

1. Token嵌入

​ $\text{AutoBlock}$的第一步是使用词嵌入模型将每个token转换为低维嵌入向量。这里使用$\text{fastText}$来获得tokens的嵌入向量。不同于其他的词嵌入模型为每个单词学习一个有区分性的嵌入，$\text{fastText}$为每个字符学习一个嵌入，并通过将单词中所有字符的嵌入向量求和计算词的向量表示。$\text{fastText}$能够天然的处理少见的token，而其他的词嵌入模型通常将这些tokens看作是out-of-vocabulary并且使用特殊的token(UNK)来替换它们。实验显示，$\text{fastText}$对于常见的拼写错误更具鲁棒性，并且成功为同态相似的token生成相似的嵌入向量。

2. 基于注意力的属性嵌入

​ $\text{AutoBlock}$的第二步是将每个属性的token嵌入向量序列作为输入，并输出一个编码属性信息的嵌入向量。该步骤与自然语言处理中的短语/矩阵嵌入相关，但主要的挑战是不同的属性在长度、单词选择和使用，并且自然语言的顺序性质在表格数据中缺失。

​ 这里提出了基于注意力的属性编码器，用于计算属性嵌入向量。注意力编码其后的主要想法是平均，即一个属性的嵌入可以被表示为 token嵌入向量的加权平均。相比于先前每个token的固定权重，注意力编码器能够基于语义、位置和周围的tokens来学习权重。当属性很长并展现了清晰的结构模型，该能力就很重要。

​ 正式来说，令${\text{v}}_1,{\text{v}}_2,\dots ,{\text{v}}_l\in {\mathbb{R}}^d$是token嵌入序列，其中$l$是序列长度并且$d$是token嵌入的维度。一个注意力编码器计算输出token的权重：
$${\text{h}}_1,{\text{h}}_2,\dots ,{\text{h}}_l=\text{SeqEnc}({\text{v}}_1,\dots ,{\text{v}}_l)\text{\hspace{1em}(1)}$$

$${\alpha }_2,{\alpha }_2,\dots ,{\alpha }_l=\text{Softmax}({\text{w}}^T{\text{h}}_1,\dots ,{\text{w}}^T{\text{h}}_l)\text{\hspace{1em}(2)}$$

$${\beta }_k=\rho {\alpha }_k+(1-\rho )\frac{1}{l},\forall k\in [l]\text{\hspace{1em}(3)}$$

这里，$\text{SeqEnc}(\cdot )$可以是任意的网络结构，只要其能够读入序列输入 ，并为每个位置产生输出。可能的选择包含标准的递归神经网络、双向$\text{LSTM}$和$\text{transformers}$。在等式(2)中，hidden state被转换为注意力权重，并在等式(3)中被进一步平滑，$\rho \in [0,1]$是控制平滑程度的超参数。最终，属性嵌入被定义为
$$g({\text{v}}_1,\dots ,{\text{v}}_l)\triangleq \sum _{k=1}^l{\beta }_k{\text{v}}_k\text{\hspace{1em}(4)}$$

3. Tuple Signature

​ $\text{AutoBlock}$的第三步需要合并属性嵌入向量并产生tuple级别的表示，其中匹配tuple的向量表示具有大的cosine相似度。在深入挖掘使用什么模型，先考虑一个更加基础的问题：若将一个tuple中的信息压缩至单个向量表示用于blocking，会发生什么？

3.1 样例1

​ 考虑具有属性Title、Album和Composer的相同歌曲的三个tuples
$$\begin{gathered} {\text{x}}_1=(\text{Me and Mrs.Jones},\varnothing ,\varnothing ) \\ {\text{x}}_2=(\text{Me and Mrs.Jones,Call Me Irresponsible,Michael Buble}) \\ {\text{x}}_3=(\text{Me \& Mrs. Call Me Irresponsible,Michael Buble}) \end{gathered}$$
其中$\varnothing$表示缺失值。嵌入向量需要以Title为主，用于确保$emb({\text{x}}_1)\approx emb({\text{x}}_2)$。然而，这意味着$emb({\text{x}}_1)$和$emb({\text{x}}_2)$的相似度不是很高。

​ 这个例子表明当tuple包含各种属性并可能具有很多缺失值，仅使用一个嵌入向量来表示tuple将会导致某些正样本对具有低相似度。因此，为了同时检索$({\text{x}}_1,{\text{x}}_2)$和$({\text{x}}_2,{\text{x}}_3)$必须使用较低的阈值$\theta$。然而，一个小$\theta$将会导致错误的正样本对。

​ 为了解决这个问题，本文提出multiple signatures。每个signature仅捕获元组的部分且不同的方面，只要两个元组具有相似的signatures就认为它们相似。

3.2 样例2

​ 继续样例1。假设有两个signature函数$si{g}_1(\cdot )$和$si{g}_2(\cdot )$应用在Title、Album和Composer。然后会有$si{g}_1({\text{x}}_1)=si{g}_1({\text{x}}_2),si{g}_2({\text{x}}_2)=si{g}_2({\text{x}}_3)$。这样，忽略$si{g}_1({\text{x}}_1)\ne si{g}_1({\text{x}}_3)$和$si{g}_2({\text{x}}_1)\ne si{g}_2({\text{x}}_3)$，所以仍然可以使用大的阈值$\alpha$来检索$({\text{x}}_1,{\text{x}}_2)$和$({\text{x}}_2,{\text{x}}_3)$。

3.3

​ 正式来说，令${\text{g}}_1,\dots ,{\text{g}}_m\in \{\varnothing \}\cup {\mathbb{R}}^d$表示一个tuple的$m$个属性的嵌入向量。定义第$s$个signature函数来作为非缺失属性的加权平均
$$f^{(s)}({\text{g}}_1,\dots ,{\text{g}}_m)\triangleq \sum _{j=1}^m\mathbb{I}({\text{g}}_j\ne \varnothing )w_{sj}{\text{g}}_j\text{\hspace{1em}(5)}$$
其中，${\text{w}}_s\triangleq [w_{sj}{]}_{j=1}^m\ge 0$是估计的非负权重，$\mathbb{I}(\cdot )$是指示函数，当对于所有的$j\in [m]$都有$\mathbb{I}({\text{g}}_j\ne \varnothing )w_j$为0，则$f^{(s)}$设为空集$\varnothing$。给定$S$个这样的signature函数$\{f^{(s)}(\cdot ){\}}_{s=1}^S$，并通过$f^{(s)}(\cdot )$用于表示$f_i^{(s)}$对于tuple ${\text{x}}_i$的signature计算，用于$\text{AutoBlock}$的最终相似度度量是最大化$S$对signatures的cosine相似度
$$\sigma ({\text{x}}_i,{\text{x}}_{i^{\prime }})\triangleq \underset{s=1,\dots ,S}{\max }\cos ({\text{f}}_i^{(s)},{\text{f}}_{i^{\prime }}^{(s)})\text{\hspace{1em}(6)}$$
其中$\cos (\text{f},{\text{f}}^{\prime })=⟨\text{f},{\text{f}}^{\prime }⟩/(\parallel \text{f}{\parallel }_2\cdot \parallel {\text{f}}^{\prime }{\parallel }_2)$是cosine相似度，若$\text{f}$或者$\text{f’}$为空集$\varnothing$则设其cosine相似度为0。需要注意cosine相似度具有缩放不变性，所以对于所有的$s\in [S]$需要$\parallel {\text{w}}_s{\parallel }_2=1$。

4. 模型训练

​ 现在来描述给定正样本标签集合$\mathcal{L}$，提出的注意力编码器和signature函数如何训练。该训练算法是基于下面的想法：对于任意的$(i,i^{\prime })\in \mathcal{L}$，tuple对$({\text{x}}_i,{\text{x}}_{i^{\prime }})$应该比$({\text{x}}_i,★)$和$({\text{x}}_{i^{\prime }},★)$更加相似，其中$★$表示一个不相关的tuple。

​ 基于这个直觉设计了一个辅助多类别分类任务进行训练。具体来说，对于每个正样本对$(i,i)\in \mathcal{L}$，随机采样一个小的索引集合$U_{i,i^{\prime }}\subset [n]\setminus \{i,i^{\prime }\}$。由于$n\gg |U_{i,i^{\prime }}|$并且$\text{X}$中的重复是比较罕见的，因此可以假设$U_{i,i^{\prime }}$中的tuple是与${\text{x}}_i$和${\text{x}}_{i^{\prime }}$不相关的。给定signature函数$f^{(s)}$，从$\{i,i^{\prime }\}\cup U_{i,i^{\prime }}$的$2|U_{i,i^{\prime }}|+1$个样本对中挑选出唯一正样本对$({\text{x}}_i,{\text{x}}_{i^{\prime }})$的概率定义如下：
$$P_s[({\text{x}}_i,{\text{x}}_i);U_{i,i^{\prime }}]\triangleq \frac{e^{\sigma ({\text{f}}_i^{(s)},{\text{f}}_{i^{\prime }}^{(s)})}}{e^{\sigma ({\text{f}}_i^{(s)},{\text{f}}_{i^{\prime }}^{(s)})}+{\sum }_{j\in U_{i,i^{\prime }}}[e^{\sigma ({\text{f}}_i^{(s)},{\text{f}}_j^{(s)})}+e^{\sigma ({\text{f}}_{i^{\prime }}^{(s)},{\text{f}}_j^{(s)})}]}\text{\hspace{1em}(7)}$$
注意力编码器$\{g^{(j)}{\}}_{j=1}^m$和signature函数权重可以通过最小化所有signatures和正样本的对数似然来端到端的学习
$$\underset{\{g^{(j)}{\}}_{j=1}^m,\{{\text{w}}_s{\}}_{s=1}^S}{\max }\frac{1}{|\mathcal{L}|}\sum _{(i,i^{\prime })\in \mathcal{L}}\sum _{s=1}^S\log P_s[({\text{x}}_i,{\text{x}}_{i^{\prime }});U_{i,i^{\prime }}]\text{\hspace{1em}(8)}$$
这里应用$\text{Adam}$来优化目标函数。在每次更新后，进一步将所有signature权重投影至灵活的区域来确保非负和单位范数。

​ 然而，等式(8)中定义的优化问题并没有对signature权重施加任何正则化，其可能会导致$S$个一致且独立的最优signature函数。理想的signature应该是独立或者正交的：${\text{W}}^T\text{W}={\text{I}}_S$，所以每个signatures反应了tuple的一个独立方面。因此，可以将惩罚项$\parallel {\text{W}}^T\text{W}-{\text{I}}_S\parallel$合并至优化问题中。然而，当优化问题涉及到较大的任务，调整惩罚系数或者相关超参数会变得笨拙且不切实际。

​ 取而代之，这里提出了一个简单的序列算法来实现正交性。主要的相反是每次训练一个signature函数，并且训练当前signature函数，先前定义的signature函数所使用的所有属性都不可用。这种方法中，不同signature函数使用的属性将不会重复，并能够天然满足正交。最终，当所有的属性都被使用，或者已经学习了$S$个signature函数，则算法终止。

​ 模型训练算法如下：

输入：tuple集合$\text{X}$，标注集合$\mathcal{L}$，最大迭代次数$T$，最大signatures数量$\bar{S}$

输出：属性编码器$\{g^{(j)}{\}}_{j=1}^m$，signature函数权重$\{{\text{w}}_s{\}}_{s=1}^S$

初始化$\{g^{(j)}{\}}_{j=1}^m$和$\{{\text{w}}_s{\}}_{s=1}^S$；

初始化属性集合$\mathcal{M}=\{1,\dots ,m\}$；

for $s=1,\dots ,\bar{S}$ do

  for $t=1,\dots ,T$ do

    采样mini-batch ${\mathcal{L}}_B\subset \mathcal{L}$；

    为每个$(i,i^{\prime })\in {\mathcal{L}}_B$采样$U_{i,i^{\prime }}$；

    更新$\{g^{(j)},w_{sj}{\}}_{j\in \mathcal{M}}$来改善$\frac{1}{|{\mathcal{L}}_B|}{\sum }_{(i,i^{\prime })\in {\mathcal{L}}_B}\log P_s[({\text{x}}_i,{\text{x}}_{i^{\prime }};U_{i,i^{\prime }})]$

    投影${\text{w}}_s$至$\{\text{w}\in {\mathbb{R}}_{\ge 0}^m|w_{\mathcal{M}}=0,\parallel \text{w}{\parallel }_2=1\}$

  $\mathcal{M}=\mathcal{M}\setminus \{j\in [m]|w_{sj}>0\}$

  if $\mathcal{M}=\varnothing$ then

    $\text{S=s;break;}$

5. 快速最近邻搜索

​ 在$\text{AutoBlock}$的最后一个步骤中，目标是对于每个tuple，依据等式(6)的独立$\sigma$计算的相似度来找出超过阈值$\theta >0$的最近邻。该任务可以简化为一个经典的、基于cosine相似度的高维最近邻搜索问题。这里使用局部敏感哈希$\text{(LSH)}$，一种次线性查询时间解决该问题的技术。具体来说，这里使用$\text{cross-polytope LSM}$，是一种用于cosine相似度的start-of-the-art $\text{LSH}$家族，其不仅能够具有理论最优查询时间复杂度，并且也允许高效的实现。

五、评估

1. 实验设置

1.1 数据集

​ 实验考虑三个真实数据集：Movie、Music、Grocery，这些数据集是从各种公开网站上爬取和采样的。Music来自于$\text{Amazon}$和$\text{Wikipedia}$，Movie来自于$\text{IMDb}$和$\text{WikiData}$，Grocery来自于$\text{Amazon}$和$\text{ShopFoodEx}$。这三个数据集代表实体匹配问题中的三种不同的类型：

• Clean(Movie)：属性并正确对齐并且属性值相对干净，也就是说每个属性很少包含不相关的信息。
• Dirty(Music)：某些属性可能包含大量不相关的信息。此外，属性也不是完美的对齐，并且属性值被放置在错误的属性上。
• Unstructured(Grocery)：所有的信息都被混合在原始、相对较长的文本属性。

1.2 正样本生成

​ 对于所有的三个数据集，使用strong key来生成正样本。对于Movie数据集则是tconst，对于Music数据集则是ASIN，对于Grocery则是UPC码。需要注意，不是三个数据集中的每个record都有strong key。由于这些strong key被用于构建训练和评估数据的正样本，为了避免过拟合将其排除在属性集中。

1.3 数据集划分

​ 首先，将正样本随机划分为两个部分，80%用于训练并且20%用于测试，并且确保具有相同strong key的tuple被划分至相同的部分。将出现在所有训练标签中的元组加入值训练集，并添加20%的非正样本；其作为不相关tuple来促进利用。测试集也是用相似的方法创建。重复这个过程并为每个数据集创建5个训练/测试集合对。

1.4 比较方法

• 基于key的blocking

  考虑两个blocking：单个key(例如仅使用Title)和连接key(使用所有属性)。

• $\text{MinHash}$ blocking

  该方法在特定的属性上使用$\text{Jaccard}$相似度来检索所有的对，并选择超过阈值$\theta$的候选对。所有属性都被考虑，并且$\theta$被设置为0.4、0.6或者0.8。

• $\text{DeepER}$

  作为基于深度学习的blocking方法的state-of-the-art，该方法可以看作是$\text{AutoBlock}$的特例。

​ 为了理解$\text{AutoBlock}$组件的影响，这里还包含两个子模型baseline：

• 无加权平均编码器：其将Title作为仅有的signature，并在其上应用无权重平均；
• 注意力编码器：其将Title作为仅有的signature，并在Title上应用注意力编码器；

1.5 $\text{AutoBlock}$配置

​ 使用词嵌入向量尺寸为$d=300$的预训练$\text{fastText}$。注意力编码器中的$\text{SeqEnc}(\cdot )$选单层的$\text{Bi-LSTM}$，虽然发现本文的方法对于神经网络架构和其他影响因素具有鲁棒性。对于每个正样本对，在训练过程中随机采样$|U_{i,i^{\prime }}|=10$不相关tuple来构造等式(7)的损失函数。设置signature最大数量$S$为属性的数量。对于属性Title，设置注意力平滑参数$\rho$为1，其他属性则为0。对于最近邻搜索，设置相似度阈值为$\theta =0.8$，每个tuple的最大检索数量为$\max (1000,|\sqrt{n_1}|)$，其中$n_1$是较大表的尺寸。

1.6 最小预处理

​ 对于所有方法，仅执行相同且最小的预处理，其目标之一是最小化blocking中的人工。事实上，仅有两个预处理：将英文字符转换为小写、使用标准的$\text{TreeBank tokenizer}$将属性转换为token序列。

1.7 评估指标

​ 使用两个指标来评估每个blocking方法的有效性：$\text{recall}$和$\text{P/E ratio}$。令$\mathcal{T}\subseteq [n]\times [n]$所有正确匹配的未知集合，$\text{X}$是元组集合，$\mathcal{C}$是候选对集合。两个度量的定义如下：
$$recall\triangleq \frac{\mathcal{C}\cap \mathcal{T}}{\mathcal{T}}$$

$$\text{P/E ration}\triangleq \frac{|\mathcal{C}|}{\text{X}}=\frac{\mathcal{C}}{n}$$

​ 然而，真实标签集合$\mathcal{T}$是永远无法预先知道，因此使用收集的正样本标签$\mathcal{L}$来近似。报告每个数据集上5个测试集的平均表现。

2. 有效性

​ 首先研究$\text{AutoBlock}$的有效性。上表展示了三个数据集上baseline方法和$\text{AutoBlock}$的$\text{recall}$和$\text{P/E ration}$。表中的结果支持以下结论。

​ 首先，$\text{AutoBlock}$在所有数据集上都表现的最好，特别是当数据集为dirty或者unstructured。在$\text{Grocery}$上，$\text{AutoBlock}$不仅在$\text{recall}$上显著超越所有的baseline，并且具有最小的$\text{P/E ration}$。在$\text{Music}$，$\text{AutoBlock}$的$\text{recall}$高于最优baseline，并且$\text{P/E ration}$仅有$\text{MinHash}$的1/5。在$\text{Movie}$，$\text{AutoBlock}$实现了接近第二名的$\text{recall}$，但是$\text{P/E ration}$是最优baseline的20倍。

​ 第二，基于key的blocking方法在三个数据集上的$\text{recall}$都不高。该缺点在$\text{Grocery}$上最明显，其在Title上没有一个完全匹配的正样本对，因为两个数据源以不同的方式将grocery产品的不同方面拼接为单个属性。因此，基于key的方法无法检索真正的正样本对。

​ 第三，$\text{MinHash}$需要一个低相似度阈值来实现高$\text{recall}$，但代价是无法接受的$\text{P/E ration}$。事实上，仅当$\theta =0.4$的$\text{MinHash}$能够在Movie和Music上实现与$\text{AutoBlock}$相当的$\text{recall}$，但是$\text{P/E}$显著的优于$\text{AutoBlock}$；当$\theta$增加，$\text{MinHash}$的$\text{recall}$会明显下降。此外，$\text{MinHash}$在$\text{Grocery}$上的$\text{recall}$仍然低于$\text{AutoBlock}$。

​ 第四，注意力机制对于$\text{AutoBlock}$的$\text{recall}$共享巨大。从注意力编码器和无加权编码器的比较中最能看到，前者在$\text{Music}$和$\text{Grocery}$上超越后者16.9和18.3个点。此外，$\text{AutoBlock}$在三个数据集上的$\text{recall}$优于$\text{DeepER}$，这进一步证明了注意力机制的有效性。

​ 最后但是最重要的是，学习多个signatures进一步提供$\text{AutoBlock}$的$\text{recall}$。在$\text{Movie}$和$\text{Music}$上$\text{AutoBlock}$的注意力编码器的显著改善$\text{recall}$也说明了这一点。

3. 自动化

​ 这里解释了$\text{AutoBlock}$如何节约人工并仍然获得高$\text{recall}$。原始人工工作的主要来源是如何迭代尝试不同的清洗组合，并制定blocking的关键策略。$\text{AutoBlock}$通过注意力编码器为不同token分配不同权重，从而减轻这个任务的人工。上图展示了从$\text{Music}$和$\text{Grocery}$中采样正样本对的Title的注意力权重。有几个模式非常突出：

• 起始位置的token倾向于大权重。这与观察到的正样本对会在前几个token上匹配相一致。这些token通常编码重要信息。
• 常见的停用词和无意义的标点符号会被适当忽略。这也是意料之中，因为这些token被不规则的注入至tuple，并导致不可避免的误匹配。
• 与"功能性"标点符号具有特殊位置关系的tokens倾向于收到特别关注。举例来说，上图(a)中被两个括号包围的digitally和remastered具有较小的权重。
• 许多鉴别标记被忽略。对这个结果最初时很惊讶，因为这些token在下游匹配步骤中很重要。后来意识到$\text{AutoBlock}$的选择是合理的，因为这些token通常随机缺失或者具有不同的形式。在blocking步骤中忽略它们能够避免错误的正样本对。

​ $\text{AutoBlock}$自动合并不同属性来生成signature的能力节省了人工工作。上图展示了从Music学习的signature权重。在$si{g}_2$中Ablums和Performers合并可能是因为它们经常同时匹配或者不匹配，因此合并它们将检索冲突的机会并检索$\text{P/E ration}$。