文章自动打分算法

文章自动打分简称 AES (Automated Essay Scoring)，AES 系统利用 NLP 技术自动对文章进行打分，可以减轻阅卷人员的负担。目前有不少大型的考试都采用了 AES 算法进行作文打分，例如 GRE 考试，GRE 考试会有一位阅卷老师和 AES 系统一起打分，如果 AES 的分数和阅卷老师的分数相差过大，才有再增加一位阅卷老师进行打分。本文主要介绍两种比较经典的自动打分算法。

1.前言

自动打分算法从优化目标或者损失函数来说大致可以分为三种：

• 回归 Regression：可以把打分看成是回归问题，损失函数采用均方误差。
• 分类 Classification：把打分看成是分类问题，例如文章打分是 0~10，则可以分成十一个类 0, 1, 2, ..., 10 进行分类学习，用交叉熵作为损失函数。
• 偏好排名 Rank Preference：不直接预测文章的得分，而是预测文章之间的排名顺序。

传统的自动打分算法通常会人工设置很多特征，例如语法错误，N 元组，单词数量，句子长度等，然后训练机器学习模型进行打分。目前也有很多使用了神经网络的方法，通过神经网络学习出文章的特征。

下面介绍两种打分算法：

• 回归+人工特征的打分算法
• 神经网络的打分算法

2.回归+人工特征的打分算法

出自论文《Regression based Automated Essay Scoring》。给定很多需要打分的文章后，首先需要构造出文章的特征，用到了人工设置特征和向量空间特征。

2.1 人工设置的特征

拼写错误 Spelling Errors：使用 pyenchant 包统计出拼写错误单词数量占总单词数量的比例。

统计特征 Statistical Features：统计字符数量，单词数量，句子数量，段落数量，停止词数量，命名实体数量，标点符号数量 (反映文章的组织情况)，文本长度 (反映写作流畅程度)，不同词汇的数量与总单词数的占比 (反映词汇量水平)。

词性统计 POS count：统计各种词性出现的频率，例如名词，动词，形容词，副词等，词性通过 nltk 包获取。

语法流畅特征 Grammatical Fluency：使用 link grammar (链语法) 解析句子，然后统计 links 的个数；统计 n 元组出现的概率；统计词性 n 元组出现的概率。

可读性 Readability：可读性分数是衡量文本组织以及文本句法和语义复杂程度的一个指标。采用了 Kincaid 可读性分数作为一个特征，计算公式如下

可读性分数

本体特征 Ontological Features：为每个句子打上标签，例如研究、假设、主张、引用、支持和反对等。

2.2 向量空间特征

可以将一篇文章投影到一个向量空间模型中 (VSM)，此时文章可以用向量空间中的一个特征向量表示，例如可以用 one-hot 编码表示一篇文章，长度等于词汇表长度，如果一个单词出现在文章中，则对应的位置置为 1，如下：

one-hot 编码

另外也可以使用 TF-IDF 向量表示文本，但是采用这种表示方式单词之间不存在任何关联，为了解决这个问题，文章中使用了一个单词相关性矩阵 W 加上线性变换从而引入单词之间的相关性。

单词的相关性矩阵 W 通过 word2vec 生成的词向量计算，即 W(i,j) = 单词 i 和单词 j 词向量的余弦相似度。

最后，为了考虑文章中单词的顺序问题，将文章拆分成 k 个段落，然后分别计算向量空间特征，融合在一起。

2.3 回归模型

得到上述特征之后，采用 SVR 算法进行回归学习。数据集是 kaggle ASAP 比赛数据集，数据集包含 8 个集合的文章，评价指标采用 KAPPA 和相关系数，以下是一些实验效果。

这是在 8 个集合上分别使用 linear kernel 和 rbf kernel 的效果。

这是和人类打分者的对比。

3.神经网络的打分算法

以下内容出自论文《Neural Networks for Automated Essay Grading》，可以采用回归或者分类的方法进行训练，模型如下图所示。

神经网络的打分算法

3.1 文章的特征向量

论文中主要使用了三种方法构造出文章的特征向量：

• 预训练的 Glove 词向量，对文章中所有单词的词向量求平均值，作为文章的特征向量。
• TF-IDF，使用 TF-IDF 作为文章的特征向量，向量的维度等于词汇表单词数量。
• 训练词向量，使用 Glove 词向量初始化，然后在训练网络的时候训练词向量。

3.2 损失函数

论文中主要用了三种神经网络结构，NN (前向神经网络)，LSTM 和 BiLSTM。所有的网络都会输出一个向量 h(out)，根据 h(out) 构造出损失函数，下面分别是回归和分类的损失函数。

回归损失

回归损失函数

分类损失

分类损失函数

3.3 神经网络模型

第一种模型：NN (前向神经网络)

使用了两层前向神经网络，网络输入的文章特征向量是 Glove 词向量的平均值或者训练的词向量平均值。h(out) 的计算公式如下。

第二种模型：LSTM

LSTM 模型接受的输入是文章所有单词的词向量序列，然后将 LSTM 最后输出的向量作为文章的特征向量 h(out)。

第三种模型：BiLSTM

因为文章通常比较长，单向的 LSTM 容易丢失前面的信息，因此作者也使用了 BiLSTM 模型，将前向 LSTM 和后向 LSTM 模型的输出加在一起作为 h(out)。

添加 TF-IDF 向量

以上模型的输出 h(out) 都可以再加上 TF-IDF 向量提升性能，首先需要对 TF-IDF 向量降维，然后和模型的输出拼接在一起，如下图所示 (BiLSTM 为例子)。

4.参考文献

《Regression based Automated Essay Scoring》
《Neural Networks for Automated Essay Grading》