【现代信息检索】国科大何苯老师现代信息检索课程作业 —— 第二次作业

1

从如下文本中构造 LM，计算过程中不考虑标点符号以及 、 标签：

Pride relates more to our opinion of ourselves, vanity to what we would have others think of us.

a. 在采用 MLE 估计的一元概率模型中，计算不使用平滑以及使用 +1 平滑下的 P(of) 和 P(vanity)。

一元概率模型的 +1 平滑概率公式为：
$$P(w_i)=\frac{C(w_i)+1}{{\sum }_w(C(w)+1)}=\frac{C(w_i)+1}{N+|V|}\text{\hspace{1em}(1)}$$
其中，$N$ 为全部单词个数（或文档中的单词数量），$|V|$ 为词典大小，$C(\cdot )$ 统计单词出现的次数。

对于本题而言，总共 18 个单词，其中 to 和 of 各两个，其余单词均一个，字典大小为 16。

不使用平滑：$P(\mathrm{of})=\frac{2}{18}=\frac{1}{9}$、$P(\mathrm{vanity})=\frac{1}{18}$；

使用 +1 平滑：$P(\mathrm{of})=\frac{2+1}{18+16}=\frac{3}{34}$、$P(\mathrm{vanity})=\frac{1+1}{18+16}=\frac{1}{17}$。

b. 在采用 MLE 估计的二元概率模型中，计算不使用平滑以及使用 +1 平滑下的 P(ourselves|of)，P(think|of)和 P(opinion|relates)。

二元概率模型的 +1 平滑概率公式为：
$$P(w_i\mid w_{i-1})=\frac{C(w_{i-1}{w}_i)+1}{{\sum }_w(C(w_{i-1}w)+1)}=\frac{C(w_{i-1}{w}_i)+1}{C(w_{i-1})+|V|}\text{\hspace{1em}(2)}$$
对于本题而言，不使用平滑：$P(\mathrm{ourselves}\mid \mathrm{of})=\frac{1}{2}$、$P(\mathrm{think}\mid \mathrm{of})=\frac{0}{2}=0$、$P(\mathrm{opinion}\mid \mathrm{relates})=\frac{0}{1}=0$；

使用 +1 平滑：：$P(\mathrm{ourselves}\mid \mathrm{of})=\frac{1+1}{2+16}=\frac{1}{9}$、$P(\mathrm{think}\mid \mathrm{of})=\frac{0+1}{2+16}=\frac{1}{18}$、$P(\mathrm{opinion}\mid \mathrm{relates})=\frac{0+1}{1+16}=\frac{1}{17}$。

2

对于一个只基于返回网页的标题文本进行相关反馈的 Web 搜索系统。用户给定查询 banana slug。返回的前三个网页标题分别是：

banana slug Ariolimax columbianus

Santa Cruz mountains banana slug

Santa Cruz Campus Mascot

该用户认为前两篇文档相关，而第三篇文档不相关。该搜索系统只基于词项频率（不包括长度归一化因子和 IDF 因子）进行权重计算，也不对向量进行长度归一化，并且使用 Rocchio 算法对原始查询进行修改，其中 α = 1，β = 0.75，γ = 0.25。请给出最终的查询向量（按照字母顺序依次列出每个词项所对应的分量）。

字典（按字典序）为 {“Ariolimax”, “banana”, “Campus”, “columbianus”, “Cruz”, “Mascot”, “mountains”, “Santa”, “slug”}，总共 9 个单词。

对于这里的“词项频率”有些疑惑，是指“频次”还是“频率”？括号中明确表示“不包括长度归一化因子”，所以我倾向于这里指的是“频次”，以防万一，下面将两种理解都写出来了。

• 基于“频次”：

用户查询对应的向量为 $[0,1,0,0,0,0,0,0,1]$；

第一篇文档对应的向量为 $[1,1,0,1,0,0,0,0,1]$；

第二篇文档对应的向量为 $[0,1,0,0,1,0,1,1,1]$；

第三篇文档对应的向量为 $[0,0,1,0,1,1,0,1,0]$。

根据 Ricchio 算法：
$$\begin{array}{rl}{q}_m& =\alpha q_0+\beta \mu (D_r)-\gamma \mu (D_{nr})\\ & =\alpha q_0+\beta \frac{1}{|D_r|}\sum _{d_j\in D_r}{d}_j-\gamma \frac{1}{|D_{nr}|}\sum _{d_j\in D_{nr}}{d}_j\end{array}\text{\hspace{1em}(3)}$$
计算得：
$$\begin{array}{rl}q& =[0,1,0,0,0,0,0,0,1]+0.75\times [\frac{1}{2},1,0,\frac{1}{2},\frac{1}{2},0,\frac{1}{2},\frac{1}{2},1]-0.25\times [0,0,1,0,1,1,0,1,0]\\ & =[\frac{3}{8},\frac{7}{4},0,\frac{3}{8},\frac{3}{8},0,\frac{3}{8},\frac{3}{8},\frac{7}{4}]-[0,0,\frac{1}{4},0,\frac{1}{4},\frac{1}{4},0,\frac{1}{4},0]\\ & =[\frac{3}{8},\frac{7}{4},-\frac{1}{4},\frac{3}{8},\frac{1}{8},-\frac{1}{4},\frac{3}{8},\frac{1}{8},\frac{7}{4}]\end{array}$$
由于在向量空间模型中，权重为负数没有意义，所以需要将负权重置为 $0$，故
$$q=[\frac{3}{8},\frac{7}{4},0,\frac{3}{8},\frac{1}{8},0,\frac{3}{8},\frac{1}{8},\frac{7}{4}]$$

• 基于“频率”：

用户查询对应的向量为 $[0,\frac{1}{2},0,0,0,0,0,0,\frac{1}{2}]$；

第一篇文档对应的向量为 $[\frac{1}{4},\frac{1}{4},0,\frac{1}{4},0,0,0,0,\frac{1}{4}]$；

第二篇文档对应的向量为 $[0,\frac{1}{5},0,0,\frac{1}{5},0,\frac{1}{5},\frac{1}{5},\frac{1}{5}]$；

第三篇文档对应的向量为 $[0,0,\frac{1}{4},0,\frac{1}{4},\frac{1}{4},0,\frac{1}{4},0]$。

根据 Ricchio 算法可得：
$$q=[-\frac{3}{32},\frac{53}{160},-\frac{1}{16},-\frac{3}{8},-\frac{11}{80},-\frac{1}{16},-\frac{3}{40},-\frac{11}{80},\frac{53}{160}]$$
将负权重置为 $0$，有：
$$q=[0,\frac{53}{160},0,0,0,0,0,0,\frac{53}{160}]$$

3

给定任务目标：将单词分成英语类和非英语类。单词的产生来自以下分布：

事件	单词	是否为英语	概率
1	ozb	否	4/9
2	uzu	否	4/9
3	zoo	是	1/18
4	bun	是	1/18

a. 计算多项式朴素贝叶斯分类器的参数（含先验概率和条件概率），分类器使用字母 b、n、o、u、z 作为特征。假设训练集能完美反映表中的概率分布，使用多项式分类器中常用的特征独立性假设。计算参数时使用平滑：0 概率平滑为 0.01，非0 概率不变（这种做法会导致概率总和大于 1，此处不需要解决这个问题）

多项式朴素贝叶斯是应用于文档数据集中的，可以将特征维度视为字典大小。

首先，考虑非英语类的样本，即事件 $1$ 和 $2$。由于两个事件的概率相等，所以不妨将事件 $1$ 和事件 $2$ 出现的次数均认为是 $1$，则统计每个字母的频次（按字典序）有 $[1,0,1,2,2]$，所以频率（经过平滑）为 $[\frac{1}{6},\frac{1}{100},\frac{1}{6},\frac{2}{6},\frac{2}{6}]$；英语类的样本也是类似，由于事件 $3$ 和 $4$ 出现概率也相同，所以依然可以假设二者出现次数均为 $1$，最后得到频率（经过平滑）为 $[\frac{1}{6},\frac{1}{6},\frac{2}{6},\frac{1}{6},\frac{1}{6}]$

故，多项式朴素贝叶斯分类器的参数：
$$\begin{gathered} P(是)=\frac{1}{9}P(否)=\frac{8}{9} \\ P(\mathrm{b}\mid 是)=\frac{1}{6}P(\mathrm{n}\mid 是)=\frac{1}{6}P(\mathrm{o}\mid 是)=\frac{2}{6}P(\mathrm{u}\mid 是)=\frac{1}{6}P(\mathrm{z}\mid 是)=\frac{1}{6} \\ P(\mathrm{b}\mid 否)=\frac{1}{6}P(\mathrm{n}\mid 否)=\frac{1}{100}P(\mathrm{o}\mid 否)=\frac{1}{6}P(\mathrm{u}\mid 否)=\frac{2}{6}P(\mathrm{z}\mid 否)=\frac{2}{6} \end{gathered}$$
b. 上述分类器对单词 zoo 的分类结果是什么？
$$\begin{gathered} P(是)P(\mathrm{z}\mid 是)P(o\mid 是)P(o\mid 是)=\frac{1}{9}\times \frac{1}{6}\times \frac{1}{3}\times \frac{1}{3}=\frac{1}{486} \\ P(否)P(\mathrm{z}\mid 否)P(o\mid 否)P(o\mid 否)=\frac{8}{9}\times \frac{2}{6}\times \frac{1}{6}\times \frac{1}{6}=\frac{2}{273} \end{gathered}$$
所以，zoo 被分到非英语类。

c. 使用 a 中的多项式分类器对 zoo 进行分类，但是不使用位置独立性假设，也就是说，对于单词中的每个位置都要进行独立的参数估计（只需要对 zoo 分类所需的参数进行估计）。

考虑位置的影响，（部分）分类器参数（经过平滑）为：
$$\begin{gathered} P(\mathrm{z}\mid \mathrm{pos}=1,是)=\frac{1}{2}P(\mathrm{o}\mid \mathrm{pos}=2,是)=\frac{1}{2}P(\mathrm{o}\mid \mathrm{pos}=3,是)=\frac{1}{2} \\ P(\mathrm{z}\mid \mathrm{pos}=1,否)=\frac{1}{100}P(\mathrm{o}\mid \mathrm{pos}=2,否)=\frac{1}{100}P(\mathrm{o}\mid \mathrm{pos}=3,否)=\frac{1}{100} \end{gathered}$$

$$\begin{gathered} P(是)P(\mathrm{z}\mid \mathrm{pos}=1,是)P(o\mid \mathrm{pos}=2,是)P(o\mid \mathrm{pos}=3,是)=\frac{1}{9}\times \frac{1}{2}\times \frac{1}{2}\times \frac{1}{2}=\frac{1}{72} \\ P(否)P(\mathrm{z}\mid \mathrm{pos}=1,否)P(o\mid \mathrm{pos}=1,否)P(o\mid \mathrm{pos}=1,否)=\frac{8}{9}\times \frac{1}{100}\times \frac{1}{100}\times \frac{1}{100} \end{gathered}$$

显然，zoo 被分到英语类。

REF

n-gram语言模型-srilm加1平滑 - 知乎 (zhihu.com)

正规：2021-12-26 第二章6 自然语言处理常见的三大任务之语言模型：平滑 - 简书 (jianshu.com)

Rocchio算法-CSDN博客

TF：[机器学习] TF-IDF算法_tfidf算法-CSDN博客

【Python机器学习】朴素贝叶斯分类的讲解及预测决策实战（图文解释 附源码）_朴素贝叶斯决策-CSDN博客

[TF-IDF特征与多项式贝叶斯分类器用于文本分类 - 知乎 (zhihu.com)](