基于Python,调用BaiduSenta的时候,数据量80w条,出现运行很久没结果,怎么办?

想用BaiduSenta帮我做短文本的情绪分析,本人比较小白,然后在python的基础上搭建好了环境。刚开始用几十个数据去跑的时候,没有问题,但是数据量变成我要做的80w条的时候,有一行代码会运行很久,而且没有结果。

代码如下:

#!/usr/bin/env python
# coding: utf-8

# In[1]:f = open(r'/Users/simon/Nutstore Files/论文/数据/测试数据.txt','r')
# In[2]:a = list(f)
# In[3]:b = [' '.join([i.strip() for i in text.strip().split('\t')]) for text in a]
# In[4]:import paddlehub as hub
# In[5]:senta = hub.Module(name="senta_bilstm")
# In[6]:input_dict = {"text": b} 
# In[7]:results = senta.sentiment_classify(data=input_dict)
# In[8]:test = open('/Users/simon/Nutstore Files/论文/数据/测试结果.txt', 'w')
# In[9]:for result in results:
    test.write(str(result)+'\n')
# In[10]:test.close()

测试数据在几十条的时候,一点问题都没有;但是在用到我想做的东西的80多w条的视乎,ln[7]就运行不出来了。
有没有其他办法呢,求助各位大神

你可能感兴趣的:(python,深度学习)