论文解读《Automatic Text Scoring Using Neural Networks》

    论文使用用C&W Embedding及LSTM作为基础，提出了新的文本自动评分模型，取得了好的效果。

    具体如下：

    为什么要搞出一个SSWES   Augmented C&W model？

-C&W Embeddings

     在NNLM之后，在CBOW和skip-gram之前，2008年Collobert和Weston 提出的C&W模型不再利用语言模型的结构，而是将目标文本片段整体当做输入，然后预测这个片段是真实文本的概率，所以它的工作主要是改变了目标输出，由于输出只是一个概率大小，不再是词典大小，因此训练效率大大提升，但也由于使用了这种目标输出，使得它的词向量表征能力有限。

和NNLM一样，输入向量经过一个tanh，后计算网络函数

    损失函数为hinge loss，使向量中的噪声最小：

 

-SSWES 

 SSWES   Augmented C&W model 的核心思想：

    1、每个词对文章得分的贡献是不一样的，像is, are, to, 这种对在得分高的文章和得分低的文章中都会出现。

    2、信息词汇是那些会影响论文分数的词汇(例如，拼写错误)

为了获得嵌入词的分数，在输出层加入一层线性回归：如下图，由a变为b

    从（计算出整体损失函数作为两个损失函数的加权线性组合，将误差梯度反向传播到嵌入矩阵m。

，

    改进后的算法可以将正确拼写的单词在向量空间中与错误拼写的单词分开，但是保留了词的下文相关的信息。

    如下图，b相较于a不仅保留了computer与laptop两个词的相似性，还可以在分数上将两组词分开。

实验

    作者使用了Kaggle数据集去验证该改进的算法，内容为7-10年级学生的作文，共12976篇文章，每篇150到550个单词。

其结果如下

可见在不同的模型上，sswe均优于其他方法。