Python文本挖掘学习笔记- sentiment analysis情感分析

量化用户的内容、想法、信念和意见被称为情感分析。用户的在线帖子、博客、推特、产品的反馈有助于商业人士了解目标受众，并在产品和服务方面进行创新。情绪分析有助于以更好、更准确的方式了解人们。它不仅限于市场营销，而且还可以用于政治、研究和安全领域。

人类的交流不仅仅局限于语言，它比语言更重要。情感是文字、语气和写作风格的组合。作为一个数据分析师，更重要的是要了解我们的情感，它到底意味着什么？让我们继续学习下去吧

情感分析主要有两种方法：

1、 基于词典的方法：计算给定文本中积极和消极词汇的数量，计数越多，文本的情绪就越好。

2、 基于机器学习的方法。开发一个分类模型，使用预先标记的正面、负面和中性数据集进行训练。

今天我们今天来看看第二种方法（基于机器学习）~

第一步：Text classification 文本分类

在模型的构建部分中，我们使用Kaggle上Sentiment Analysis of Movie, Reviews数据集（ https://www.kaggle.com/c/sentiment-analysis-on-movie-reviews/data）。他是一个已经帮我们分好情感的数据集，有五个label：0 - negative 1 - somewhat negative 2 - neutral 3 - somewhat positive 4 - positive

我们load一下这个数据集：

在文本分类问题中，我们有一组文本及其各自的标签。但是我们不能直接在模型中使用文本。我们需要将这些文本转换为一些数字或数字向量。

词袋模型（BoW）是从文本中提取特征的最简单方法。 BoW将文本转换为文档中单词出现的矩阵。该模型关注给定单词是否出现在文档中。

eg：有三个文档：

Doc 1: I love dogs. Doc 2: I hate dogs and knitting. Doc 3: Knitting is my hobby and passion.

现在，我们可以通过计算给定文档中单词的出现来创建文档和单词的矩阵。该矩阵称为Document-Term Matrix（DTM）。

该矩阵使用单个单词。它可以是两个或两个以上单词的组合，称为二元组或三元组模型，一般方法称为n元组模型。

我们可以使用scikit-learn的CountVectorizer生成文档术语矩阵。

在这里，regexp tokenizer是我们上一篇文章提到的使用到正则表达式进行分词, 我们对消除a到z，0到9的词，也就是消除了符号和数字。

然后我们用count vectorizer来fit我们的数据集，我们的方法叫TF,也就是term frequency，他的计算方式是某个词在文章中的出现次数/文章总次数，

然后，我们来分训练集和测试集：x是我们刚刚fit的text count，y是那一列情绪

然后，我们用Multinomial Naive Bayes classifier这个model来训练：

这样就可以啦~

在上面的过程中，我们用到的是TF,也就是term frequency，他的计算方式是某个词在文章中的出现次数/文章总次数，我们还有第二种方法，叫TF - IDF。

IDF ，也叫统计逆文档频率（Inverse Document Frequency），也就是在词频的基础上，我们需要对每个词分配一个"重要性"权重。对于最常见的词（“的”、“是”、“在”）给予最小的权重；对于较常见的词（“中国”）给予较小的权重；对于较少见的词（“蜜蜂”、“养殖”）给予较大的权重。因为如果某个词比较少见，却在这篇文章中多次出现，那么它很可能就反映了这篇文章的特性，这就是逆文档频率IDF的概念。计算方法是：log（语料库的文档总数/包含该词的文档数）

那么TF - IDF是怎么计算的呢？他是TF * IDF，某个词对文章的重要性越高，它的TF-IDF值就越大。TF-IDF值排在最前面的几个词，就很可能是这篇文章的关键词了。

那么刚刚那个矩阵在TF-IDF中就变成了这样

我们现在就用TF IDF的方式来做：刚刚tf我们用的是CountVectorizer( ), 在这里我们用的是TFidfVectorizer( ).