【NLP】 5. Word Analogy Task（词类比任务）与 Intrinsic Metric（内在度量）

Word Analogy Task（词类比任务）

定义：Word Analogy Task 是用于评估词向量质量的内在指标（Intrinsic Metric）。该任务基于这样的假设：如果词向量能够捕捉单词之间的语义关系，那么这些关系应该能够在向量空间中保持一定的结构。

示例：
在一个理想的词向量空间中，单词之间的关系应该满足如下等式：

$$king-man+woman\approx queen$$

即，如果你用向量 king 减去 man（表示去掉“男性”这个概念），再加上 woman（加入“女性”这个概念），那么你应该接近 queen（女王）的向量

计算方法：
给定一个类比问题 A:B::C:D，即“A 之于 B，如同 C 之于 D”，则计算：D=B−A+C

然后，在词汇表中找到与 D 最接近的词向量，作为预测的答案。

应用：

• 评估词向量的质量，验证其是否能有效捕捉语义和句法关系。
• 在训练 word embeddings（如 Word2Vec, GloVe, FastText）时常用此方法进行测试。

Intrinsic Metric（内在度量）

定义：Intrinsic Metric 是衡量 NLP 模型（如词向量模型）质量的一类指标，通常基于特定的语言学任务，如 Word Analogy Task、Word Similarity Task 和 Clustering Coherence。

特点：

• 快速计算：不需要依赖下游任务，只基于词向量本身计算指标。
• 独立于具体应用：不同于 Extrinsic Metric（外在度量，依赖于特定 NLP 任务的表现），Intrinsic Metric 更关注词向量本身的质量。

常见的 Intrinsic Metric：

1. Word Similarity Task：通过计算词向量的余弦相似度，评估模型对同义词、近义词的表现。
2. Word Analogy Task：评估词向量是否能正确表示语义关系（如 “Paris” : “France” :: “Berlin” : “Germany”）。
3. Clustering Coherence：测试词向量在类别划分上的表现，如同义词是否聚集在一起。

优缺点：
✅ 优点：

• 计算成本低，适用于快速测试词向量质量。
• 提供模型的直观解释性（可以通过类比关系检查向量的语义质量）。

❌ 缺点：

• 不能直接反映模型在实际 NLP 任务中的表现。
• 可能对训练数据敏感，不一定能泛化到真实任务。