python jieba分词教程_jieba中文分词的使用实例详解

中文文本分类不像英文文本分类一样只需要将单词一个个分开就可以了，中文文本分类需要将文字组成的词语分出来构成一个个向量。所以，需要分词。

这里使用网上流行的开源分词工具结巴分词(jieba)，它可以有效的将句子里的词语一个个的提取出来，关于结巴分词的原理此处不再赘述，关键是他的使用方法。

1、安装

结巴分词是一个Python的工具函数库，在python环境下安装，安装方式如下：

(1)python2.x下

全自动安装 ：easy_install jieba 或者 pip install jieba

半自动安装 ：先下载 ，解压后运行python setup.py install

手动安装 ：将jieba目录放置于当前目录或者site-packages目录

通过import jieba 来引用

(2)python3.x下

目前master分支是只支持Python2.x 的

Python3.x 版本的分支也已经基本可用：git clone

git checkout jieba3k

python setup.py install

2、使用

在使用它的时候首先要用import jieba代码导入jieba库，而由于中文文本中可能除了文本内容以外还有一些符号比如括号、等号或箭头等，还需要将这些通过正则表达式的方式匹配出来并删除，

由于使用到了正则表达式，所以还需要使用import re来导入相关函数库。

具体代码如下：def textParse(sentence):

import jieba

import re

<