Day 6 以推特为语料库进行舆情分析[1]

Twitter as a Corpus for Sentiment Analysis and Opinion Mining
Alexander Pak, Patrick Paroubek
Universit´e de Paris-Sud, Laboratoire LIMSI-CNRS, Bˆatiment 508,
F-91405 Orsay Cedex, France
[email protected], [email protected]

作者来自于法国第二、全球前五十的巴黎南大学。

从今以后主要写概要，读完一段之后再来说，不逐字翻译了。

摘要

介绍这篇推特是今年新型产物，所以研究较少。论文主要是着眼于搜集舆情分析与观点挖掘的语料库，进而进行的语言分析和解释。利用语料库进行情感分类，确定正面、负面、中性情感。实验评价表面我们提出的方法很牛逼。我们研究中的方法以英语为例，但技术可以用于任何其他语言。
（大哥希望你不是在吹牛逼）

简介

公司啊、政治家啊、社会组织啊，他们都希望知道：
在大家眼里他们是什么样的
在大家眼里他们是正面还是负面的
大家希望他们变成什么样

我们搜集了三十万个推特发言，并且分成三类

1. 正面
2. 负面
3. 陈述

然后进行了语言分析。
本文内容分布如下：

1. 上述语料库搜集和分类的一种方法；
2. 统计语言分析；
3. 分类系统；
4. 实验评价。

相关工作

(Pang and Lee, 2008)文献中阐述了许多算法，但是大部分都不适用于微博。(Yang et al., 2007)使用了SVM and CRF learners，其中最好的策略是用文章的最后一句话作为情感分析的主要材， (Read, 2005) 用颜表情如 “:-)”和“:-(”作为训练集来分类，利用SVM and Na¨ıve Bayes，他们的准确率达到了70%。 (Go et al., 2009)用了相似的方法，对正面/负面分类准确率达81%，但是对于三类分类的表现很差。

语料库搜集

我们在推特中搜索两种颜表情
• Happy emoticons: “:-)”, “:)”, “=)”, “:D” etc.
• Sad emoticons: “:-(”, “:(”, “=(”, “;(” etc.
分别作为识别积极/消极情感的训练集。
而中性评论则是从纽约时报等流行报纸、杂志的官方微博上提取的。（这个方式合适不合适还是另一说）

语料库分析

词语数量频次分布遵循齐普夫定律

（Zipf定律是美国学者G.K.齐普夫提出的。可以表述为：在自然语言的语料库里，一个单词出现的频率与它在频率表里的排名成反比。）

验证了上述分布之后，我们利用TreeTagger来给语料库中的内容贴标签。我们主要关注不同情感之间标签的异同，利用以下公式进行计算。

不同情感之间标签的异同

下图中set 1是主观评价（包含积极和消极），set 2是客观评价。其中的区别如下：
主观评价含有更多常见普通名次，客观评价含有更多私人、专有名词。
主观评价常常以第一人称和第二人称，而客观评价常常以第三人称。
客观评价常用一般过去时而非过去分词，主观评价中则常有动词和情态动词。
（由于这篇论文的语料库来源有失偏颇，我认为上述结论不具有很高的可信度）

PT结果

下面是一段对这些结论的更进一步的分析，由于分析语言对象不是中文，而且语料库基础本身就略有问题，就不赘述了。

再后面就是训练分类器和模拟，明天再写咯。

That's all for today. See you tomorrow.
Kevin Ham@Wuhu
Department of Internet Engineering, Anhui Normal University, Wuhu, China
3.6.2015