上来就情感分析?还是先用python去去重吧!

     作者:黄伟呢

     来源:凹凸数据

大家好,我是黄同学

下面我给大家讲讲:为什么用python情感分析之前应该先去重!

1、原理说明

1)为什么要进行数据的句内去重?

上来就情感分析?还是先用python去去重吧!_第1张图片

  

在做情感分析的时候,有时候需要对文本进行分词,做词频统计。上图是某个店铺的留言数据,对于第26条,只是为了说明“东西很好,很好用!”,但是为了凑字数留言,就写成了如图所示。但是我们在进行词频统计的时候,只统计“东西很好,很好用!”一次就够了,因此,就需要用到“数据的句内去重”。

2)以“单字词”为例,进行原理说明

上来就情感分析?还是先用python去去重吧!_第2张图片

3)原理说明

  通过上图可以发现,进行词语句内去重,首先判断位置j到j+1位置的元素是否相等,如果相等,再判断j+1处的元素和j+2处的元素是否相等,这样依次进行下去。

  由于原理不好用语言,进行详细叙述,因此你可以好好琢磨一下下面的代码。对于不懂的地方,可以在博客中留言说明。

2、“单字词”句内去重

st = "我很是好好好好好好呀"

for j in range(len(st)):
    if st[j:j+1] == st[j+1:j+2]:
        k = j + 1
        while st[k:k+1] == st[k+1:k+2] and k

结果如下:

上来就情感分析?还是先用python去去重吧!_第3张图片

3、“双字词”句内去重

st = "今天天气天气天气天气好哦"

for j in range(len(st)):
    if st[j:j+2] == st[j+2:j+4]:
        k = j + 2
        while st[k:k+2] == st[k+2:k+4] and k

结果如下:

上来就情感分析?还是先用python去去重吧!_第4张图片

4、“三字词”句内去重

st = "我天气好天气好天气好哈"

for j in range(len(st)):
    if st[j:j+3] == st[j+3:j+6]:
        k = j + 3
        while st[k:k+3] == st[k+3:k+6] and k

结果如下:

上来就情感分析?还是先用python去去重吧!_第5张图片

5、将上述情况,封装成函数

def func(st):
    for i in range(1,int(len(st)/2)+1):
        for j in range(len(st)):
            if st[j:j+i] == st[j+i:j+2*i]:
                k = j + i
                while st[k:k+i] == st[k+i:k+2*i] and k

结果如下:

上来就情感分析?还是先用python去去重吧!_第6张图片

◆ ◆ ◆  ◆ ◆

长按二维码关注我们
数据森麟公众号的交流群已经建立,许多小伙伴已经加入其中,感谢大家的支持。大家可以在群里交流关于数据分析&数据挖掘的相关内容,还没有加入的小伙伴可以扫描下方管理员二维码,进群前一定要关注公众号奥,关注后让管理员帮忙拉进群,期待大家的加入。

管理员二维码:


猜你喜欢
● 笑死人不偿命的知乎沙雕问题排行榜● 用Python扒出B站那些“惊为天人”的阿婆主!● 全球股市跳水大战,谁最坑爹!● 上万条数据撕开微博热搜的真相!● 你相信逛B站也能学编程吗?

你可能感兴趣的:(上来就情感分析?还是先用python去去重吧!)