（二）简单的NLP实例

1、情感分析

1）数据：
s1=’this is a good book’
s2=’this is a awesome book’
s3=’this is a bad book’
s4=’this is a terrible book’
2）把数据处理成向量：（不关心单词出现的顺序）
统计上面文档出现过的所有单词有’this、is 、a 、good 、awesome、 bad、 terrible、 book’共8个；
句子例如：s1=[1 1 1 1 0 0 0 1]表示awesome、 bad、 terrible没出现，其他单词都出现，句子长度为所有单词总数8。
3）分别给句子s1、s2、s3、s4贴上lable作为训练集，然后用ML方法训练

2、文本相似度

we	you	he	work	happy	are
1	0	3	0	1	1
1	0	2	0	1	1
0	1	0	1	0	0

表格中，第一行表示句子”he he he,we are happy”,其他类似，不关心单词出现的顺序，即用元素评率表示文本特征，则文本的相似度计算如下：

similarity=cos(θ)=A⋅B∥A∥∥B∥ s i m i l a r i t y = c o s ( θ ) = A ⋅ B ‖ A ‖ ‖ B ‖

3、文本分类

1）TF-IDF概念

TF: 即Term Frequency, 用来衡量⼀个term在⽂档中出现得有多频繁
TF(t) = (t出现在⽂档中的次数) / (⽂档中的term总数)

IDF: Inverse Document Frequency, 衡量⼀个term有多重要。
IDF(t) = log_e(⽂档总数 / 含有t的⽂档总数).

TF-IDF = TF * IDF

2）TF-IDF实例

⼀个⽂档有100个单词，其中单词baby出现了3次；且一共有10M的⽂档， baby出现在其中的1000个⽂档中。
那么，

TF(baby)=(3/100)=0.03 T F ( b a b y ) = ( 3 / 100 ) = 0.03

IDF(baby)=log(10,000,000/1,000)=4 I D F ( b a b y ) = l o g ( 10 , 000 , 000 / 1 , 000 ) = 4

TF−IDF(baby)=TF(baby)∗IDF(baby)=0.03∗4=0.12 T F − I D F ( b a b y ) = T F ( b a b y ) ∗ I D F ( b a b y ) = 0.03 ∗ 4 = 0.12

3)NLTK实现TF-IDF