jieba分词支持关键词带空格和特殊字符

  在默认情况下,当关键词中带有空格或特殊字符,如World Economic Forum,用jieba分词,会将该词分成三个词:World,Economic,Forum。

#默认jieba:
import jieba
jieba.load_userdict("dict/userDict")
str1="People's Republic of China is the only legitimate  government in China."
str2="World Economic Forum"
str3="Edu Trust认证"
for w in jieba.cut(str2):
    print w+" ",
#People  '  s     Republic     of     China     is     the     only     legitimate     government     in     China  . 
#World     Economic     Forum
#Edu     Trust  认证

  中英文中存在大量这样的专有名词。这种方式有时并不符合我们的需求。我们可以通过改jieba包init.py中几个正则表达式来解决这个问题。用户词典中词词性用@@分隔。
                                          
  1. 搜索
   re_han_default = re.compile(“([\u4E00-\u9FD5a-zA-Z0-9+#&._]+)”, re.U)
   改成
   re_han_default = re.compile(“(.+)”, re.U)
   
  2. 搜索
   re_userdict = re.compile(‘^(.+?)( [0-9]+)?( [a-z]+)?$’, re.U)
   改成
   re_userdict = re.compile(‘^(.+?)(\u0040\u0040[0-9]+)?(\u0040\u0040[a-z]+)?$’, re.U)
                                          
  3. 搜索
   word, freq = line.split(’ ‘)[:2]
   改成
   word, freq = line.split(‘\u0040\u0040’)[:2]
                                          
  4.补充:若用全模式继续改。
   搜索
   re_han_cut_all = re.compile(“([\u4E00-\u9FD5]+)”, re.U)
   改成
   re_han_cut_all = re.compile(“(.+)”, re.U)

#修改后测试
userDict:
中华人民共和国@@n
People's Republic of China@@n
World Economic Forum@@n
世界经济论坛@@n
结果:
People's Republic of China     is     the     only     legitimate     government     in     China  .
World Economic Forum
Edu Trust认证 

支持英文专有名词的jieba  init.py

你可能感兴趣的:(机器学习)