文本处理（二）词频统计,jieba分词，词性标注，snownlp情感分析
这一篇接着上一篇处理后的数据进行操作，按照（一）中的步骤，这事应该将文本数据每一行中的高频的正面词去掉，因为多数是描述身体健康的短句，只有少数是描述脾脏检查异常的，所以尝试删除掉描述身体健康的短句，只留下少数检查异常的数据，对异常的检查数据进行特征提取，这是思路。
所以这一篇目的是找到并且去除描述正常情况的短句。
##对a和d进行分析后补充，这里是经过一次试错之后才发现开头应该把这些作为词组保留并添加到分词中去，否则，'不'和'宽'就会成为一个副词一个形容词，而事实上他们二者总是经常出现的用以描述正常情况的，'未见'以及'无明显'类似jieba.suggest_freq('未见',True)
jieba.add_word('未见',tag='d')
jieba.suggest_freq('无明显',True)
jieba.add_word('无明显',tag='d')
jieba.suggest_freq('不宽',True)
jieba.add_word('不宽',tag='a')
jieba.suggest_freq('不厚',True)
jieba.add_word('不厚',tag='a')
#jieba.suggest_freq('尚正常',True)
jieba.suggest_freq('不明显',True)
jieba.add_word('不明显',tag='a')
jieba.suggest_freq('不清',True)
jieba.add_word('不清',tag='a')df_clean=df['0116']##得到0116这一列数据
wordlist=[]
typelist=[]
for row in df_clean:
words=jieba.posseg.cut(row)
for w in words:
wordlist.append(w.word)
typelist.append(w.flag)
all_dic=pd.DataFrame(columns=['word','type','count'])
all_dic['word']=wordlist
all_dic['type']=typelist
all_dic['count']=1
all_dic=all_dic[all_dic['type']!='x']##剔除标点符号
df_word_count=all_dic[['word','type','count']].groupby(['word','type'],as_index=False).sum()
##上面的方式得到所有非标点符号的分词以及其词性type和总的计数值count,也许有更简单的方法...df_word_count_n=df_word_count[df_word_count['type']=='n']##得到所有名词
df_word_count_n.sort_values(by=['count'],ascending=False,inplace=True)##对所有名词按照count由高到低排序
#df_word_count_n.head()##得到高频的名词
df_word_count_a=df_word_count[df_word_count['type']=='a']##得到所有形容词
df_word_count_a.sort_values(by=['count'],ascending=False,inplace=True)##对所有名词按照count由高到低排序
df_word_count_d=df_word_count[df_word_count['type']=='d']##得到所有副词
df_word_count_d.sort_values(by=['count'],ascending=False,inplace=True)经过上面的操作，可以看到：
##这就是结果
df_word_count_a.head()
Out[258]:
word type count
102 均匀 a 55749
42 光整 a 43444
170 明显 a 2152
177 未见明显异常 a 1594
45 光滑 a 756
df_word_count_a.head(10)
Out[259]:
word type count
102 均匀 a 55749
42 光整 a 43444
170 明显 a 2152
177 未见明显异常 a 1594
45 光滑 a 756
139 平整 a 243
33 低 a 95
143 强 a 67
277 高 a 17
190 清晰 a 13
df_word_count_d.head(10)
Out[260]:
word type count
183 正常 d 66607
130 尚 d 503
9 一致 d 98
262 进一步 d 12
15 不 d 8
179 极 d 6
206 稍 d 5
175 未 d 4
212 约 d 4
197 略 d 3
df_word_count_n.head(10)
Out[265]:
word type count
240 脾脏 n 55634
146 形态 n 47149
66 包膜 n 44178
236 脾 n 16244
51 内 n 14709
46 光点 n 14598
274 静脉 n 11550
247 血流 n 4981
125 实质 n 2910
37 信号 n 2650
len(df[df['0116'].str.contains(r'光滑')])
Out[261]: 756
len(df[df['0116'].str.contains(r'平整')])
Out[262]: 243
from snownlp import SnowNLP
for i in df_word_count_a['word']:
print(i,SnowNLP(i).sentiments)##尝试对形容词做情感分析，数值越接近1代表越积极，数值越接近0代表越消极，可以看到大部分是对的，但依然有的判断明显有误
均匀 0.8315683780663149
光整 0.24966090817814068##明显有问题，所以只能手动总结
明显 0.5262327818078083
未见明显异常 0.742915865950905
光滑 0.6428571428571428
平整 0.5
低 0.4028629856850714
强 0.6761229314420805
高 0.6582579723940979
清晰 0.8034682080924856
清 0.6394849785407725
大 0.5319597284008428
失常 0.5
厚 0.3550724637681161
清楚 0.5262327818078083
细腻 0.8119658119658117
近 0.5892857142857142
完整 0.8095238095238096
严重 0.5262327818078083
弱 0.5283018867924524
团低 0.37787498705799727
偏 0.42934782608695654
较大 0.5319597284008428
不均 0.3379043168750845这种情况下，我们无法使用snownlp来直接判断和得到a形容词和d副词中哪些可以表达健康（1是对积极消极判断不准，另一方面积极消极不能代表健康和异常），词组不多，我们通过肉眼判断出表达身体健康的a和d(目前没有找到哪种办法可以做到完全自动由程序处理)
接下来将上面的词组结合re正则来删除表达健康状况的词组
adlist=[]
adlist+=list(df_word_count_a['word'][:6])
adlist+=list(df_word_count_d['word'][:1])##眼睛判断的结果
adlist
##Out[348]: ['均匀', '光整', '明显', '未见明显异常', '光滑', '平整', '正常']
def get_restr(adlist):
s='['
lenth=len(adlist)
for i in range(lenth-1):
s+=(adlist[i])
s+=('|')
s+=adlist[-1]
s+=']'
return s
restr=get_restr(adlist)
restr
##Out[349]: '[均匀|光整|明显|未见明显异常|光滑|平整|正常]'rs='(，|,|。|,|)*?([^(，|,)]+?)'+restr+'([^(，|,)]*?)(，|,|。|,)'
def delUseless(str):
return re.sub(r''+rs,'',str)
df_0116_comlpete=str_data[['vid','0116']].dropna()
df_0116_comlpete['0116']=df_0116_comlpete['0116'].apply(delUseless)
可以看到仍然还是存在一些问题，待续...