CRF的简单应用--【中文分词】

之前简单研究了一下CRF的东西，但是原理还是知之甚少…但是大概想尝试一下它的实际作用，查案资料的过程中发现了所谓的中文分词的方法，尝试一下。
首先需要训练的语料，这个越大越好，但是为了处理方便只用了80M的语料啊，下载可以从这里
http://pan.baidu.com/s/1bnhXX6Z
当然这个是我们的一般的语料，想要成为CRF++的训练数据还需要进行加工一番。写一个小程序解决一下，然后我们需要讨论一下训练数据中的二三列了！我们首先看一下example中的样例

Confidence NN B
in IN O
the DT B
pound NN I
is VBZ O
widely RB O
expected VBN O
to TO O
take VB O
another DT B
sharp JJ I
dive NN I
if IN O
trade NN B
figures NNS I

查看的资料中说第三列起到主要作用，第二列主要是词性，第三列我们是自由发挥的，我们这样设计：

• 第二列我们标注是标点符号或者是文字，如果是标点符号标注为S，是文字则位W
• 第三列为分词的模式，采用4-tag标注法，(B(Begin，词首), E(End，词尾), M(Middle，词中), S(Single,单字词))

举个栗子(随便举例，不一定准确啊，只是为了说明设计方法)

我 W S
说 W S
： S S
“ S S
我 W S
真 W S
是 W S
个 W S
大 W B
垃 W M
圾 W E
” S S

然后那么多材料写个程序处理一下
注意啊！！！我们这里不需要全部的内容，只要几十个txt就行了，只是实验而已，要是文本太大了model学习就十万年…

#_*_ coding:utf-8 _*_
import jieba
import os
import codecs
goods_path = r'自己的目录哟\SogouC.reduced\Reduced\233'  
write_path = r'自己的目录哟\train.txt'
test_txt = r'自己的目录哟\SogouC.reduced\Reduced\C000008\1107.txt'
'''处理1行内容'''
def handle_one_line(f,txt_dir,oneline):
    sign = ['“','”','。','，','！','—','@','#','￥','%','&','*','（','）','+','-','·','`','~','；','：','‘','’','<','>','《','》','？','/','[',']','{','}','|','\\',' ','、']
    for i in range(len(sign)):
        sign[i] = sign[i].decode('gbk')
    seg_list = jieba.cut(oneline, cut_all=False)
    oneline = ' '.join(seg_list)
    #print oneline
    oneline = oneline.split(' ')    
    #print oneline
    for content in oneline:
        if len(content)==0:
            continue
        elif len(content)==1:
            if content in sign:
                second = 'S'
            else:
                second = 'W'
            f.write(content[0]+' '+second+' S\n')
        else:
            f.write(content[0]+' W B\n')
            for i in range(1,len(content)-1):
                f.write(content[i]+' W M\n')
            f.write(content[len(content)-1]+' W E\n')


'''处理1个txt'''
def hadnle_one_txt(f,txt_dir):
    print "Prepare hand ",txt_dir
    temp_f = open(txt_dir,'r')
    content = temp_f.readlines()
    for oneline in content:
        oneline = oneline.replace('　','').replace('\n','').replace(' ','')
        try:
            oneline=oneline.decode('gbk')
        except:
            print txt_dir,'is a UTF-8 file!'
        handle_one_line(f,txt_dir,oneline)
    print "Finish ",txt_dir
    temp_f.close()

'''总函数，提取处理所有txt'''
def handle(file_dir):
    global write_path
    f = codecs.open(write_path,'a','utf-8')
    for root, dirs, files in os.walk(file_dir):
        if len(files)==0:
            continue
        #print(root) #当前目录路径
        #print(dirs) #当前路径下所有子目录 
        #print(files) #当前路径下所有非目录子文件 
        for txt_name in files:
            read_path = root+'\\'+txt_name
            hadnle_one_txt(f,read_path)
    f.close()
if __name__ == '__main__':
    #handle(goods_path)     
    if os.path.exists(write_path):
        os.remove(write_path)
    #hadnle_one_txt(test_txt)#测试使用来着
    handle(goods_path)

然后我们的template基本上可以沿用之前的默认的,但是我们想要分词，肯定主要还是用到第一例和第二列的关系，这里我也不太会设计太复杂的，主要利用了第一列的内容…第二列就不太知道咋玩了（这个可以日后研究一下人家是怎么构造板子的）

# Unigram
U00:%x[-3,0]
U01:%x[-2,0]
U02:%x[-1,0]
U03:%x[0,0]
U04:%x[1,0]
U05:%x[2,0]
U06:%x[3,0]

U07:%x[-1,0]/%x[0,0]
U08:%x[0,0]/%x[1,0]

U09:%x[-2,0]/%x[-1,0]/%x[0,0]
U10:%x[-1,0]/%x[0,0]/%x[1,0]
U11:%x[0,0]/%x[1,0]/%x[2,0]

U12:%x[-3,0]/x[-2,0]/%x[-1,0]/%x[0,0]
U13:%x[-2,0]/x[-1,0]/%x[0,0]/%x[1,0]
U14:%x[-1,0]/x[0,0]/%x[1,0]/%x[2,0]
U15:%x[0,0]/x[1,0]/%x[2,0]/%x[3,0]

# Bigram
B

然后我们需要构造测试数据，简单构造一下，测试语句为

人群瞬间寂静下来，人们抬头看着，那架可能烧死了几十人的穿梭机轰鸣着从停泊区升起，拖着白色的尾迹直上高空，然后转向东方。人们似乎不敢相信眼前发生的事。只过了十几秒钟，又一架穿梭机从停泊区起飞，这次距离他们更近，轰鸣、火光和热浪让人群由僵滞陷人极度的狂乱中。接下来，第三架，第四架……停泊区的穿梭机相继强行发射，团团烈焰中，焦黑的人体拖着烟火在空中横飞，停泊区变成了火葬场!

老李躺在正中的一张床上，看上去很平静，云天明想到他们还没有告别过，心里越来越沉重。两个法律公证人在里面完成了公证程序，老李在公证书上签了字。公证人出来后，又有一个人进去为他讲解最后的操作程序。这人身着白大褂，不知是不是医生。他首先指着床前的一个大屏幕，问老李是否能看清上面显示的字，老李说可以后，他又让老一李试试是否能用右手移动床边的鼠标点击屏幕上的按钮，并特别说明，如果不方使.还有别的方式，老李试了试也可以。这时云天明想到.老一李曾告诉过他，自己从没用过电脑、取钱只能到银行排队，那么这是他有生第一次用鼠标了。穿白大褂的人接着告诉老李，屏幕上将显示一个问题，并重复显示五次，问题下面从0到5有六个按钮，每一次如果老李做肯定的回答，就按照提示按动一个按钮，提示的数字是1到5中随机的一个——之所以这样做，而没有用“是”或“否”按钮，是为了防止病人在无意识状态下反复按动同一个按钮;如果否定，则都是按0，这种情况下安乐程序将立刻中止。一名护士进去，把一个针头插到老李左臂上，针头通过一个软管与一台笔记本电脑大小的自动注射机相连。先前那名指导者掏出一个东西，打开层层密封，是一支小玻璃管，里面有淡黄色的液体，他小心地把那个玻璃管装到注射机上，然后和护士一起走出来。安乐室里只剩老李一人了。安乐程序正式开始，屏幕显示问题，同时由一个柔美的女声读出来:你要结束自己的生命吗?是，请按3键;否，请按0键。

处理数据的代码如下

#_*_ coding:utf-8 _*_
import jieba
import os
import codecs
write_path_for_test = r'C:\Users\Administrator\Desktop\ACM比赛及其补题\test.txt'
'''处理1行内容'''
def handle_one_line(f,txt_dir,oneline):
    sign = ['“','”','。','，','！','—','@','#','￥','%','&','*','（','）','+','-','·','`','~','；','：','‘','’','<','>','《','》','？','/','[',']','{','}','|','\\',' ','、']
    for i in range(len(sign)):
        sign[i] = sign[i].decode('gbk')
    seg_list = jieba.cut(oneline, cut_all=False)
    oneline = ' '.join(seg_list)
    #print oneline
    oneline = oneline.split(' ')    
    #print oneline
    for content in oneline:
        if len(content)==0:
            continue
        elif len(content)==1:
            if content in sign:
                second = 'S'
            else:
                second = 'W'
            f.write(content[0]+' '+second+' S\n')
        else:
            f.write(content[0]+' W B\n')
            for i in range(1,len(content)-1):
                f.write(content[i]+' W M\n')
            f.write(content[len(content)-1]+' W E\n')

if __name__ == '__main__':
    s1 = '人群瞬间寂静下来，人们抬头看着，那架可能烧死了几十人的穿梭机轰鸣着从停泊区升起，拖着白色的尾迹直上高空，然后转向东方。人们似乎不敢相信眼前发生的事。只过了十几秒钟，又一架穿梭机从停泊区起飞，这次距离他们更近，轰鸣、火光和热浪让人群由僵滞陷人极度的狂乱中。接下来，第三架，第四架……停泊区的穿梭机相继强行发射，团团烈焰中，焦黑的人体拖着烟火在空中横飞，停泊区变成了火葬场!'
    s2 = '老李躺在正中的一张床上，看上去很平静，云天明想到他们还没有告别过，心里越来越沉重。两个法律公证人在里面完成了公证程序，老李在公证书上签了字。公证人出来后，又有一个人进去为他讲解最后的操作程序。这人身着白大褂，不知是不是医生。他首先指着床前的一个大屏幕，问老李是否能看清上面显示的字，老李说可以后，他又让老一李试试是否能用右手移动床边的鼠标点击屏幕上的按钮，并特别说明，如果不方使.还有别的方式，老李试了试也可以。这时云天明想到.老一李曾告诉过他，自己从没用过电脑、取钱只能到银行排队，那么这是他有生第一次用鼠标了。穿白大褂的人接着告诉老李，屏幕上将显示一个问题，并重复显示五次，问题下面从0到5有六个按钮，每一次如果老李做肯定的回答，就按照提示按动一个按钮，提示的数字是1到5中随机的一个——之所以这样做，而没有用“是”或“否”按钮，是为了防止病人在无意识状态下反复按动同一个按钮;如果否定，则都是按0，这种情况下安乐程序将立刻中止。一名护士进去，把一个针头插到老李左臂上，针头通过一个软管与一台笔记本电脑大小的自动注射机相连。先前那名指导者掏出一个东西，打开层层密封，是一支小玻璃管，里面有淡黄色的液体，他小心地把那个玻璃管装到注射机上，然后和护士一起走出来。安乐室里只剩老李一人了。安乐程序正式开始，屏幕显示问题，同时由一个柔美的女声读出来:你要结束自己的生命吗?是，请按3键;否，请按0键。'
    if os.path.exists(write_path_for_test):
        os.remove(write_path_for_test)
    f = codecs.open(write_path_for_test,'a','utf-8')
    handle_one_line(f,write_path_for_test,s1)
    handle_one_line(f,write_path_for_test,s2)
    f.close()

之后执行

crf_learn -c 10.0 template train.txt model
crf_test  -m model test.txt >>result.txt

最后写个程序验证一下正确率…

#_*_ coding:utf-8 _*_
import jieba
import os
import codecs
check_file = r'自己的目录哟\result.txt'
f = codecs.open(check_file,'r','utf-8')
total = 0
right = 0
wrong = 0
for lines in f.readlines():
    temp = lines.replace('\r\n','').split(' ')
    if len(temp)<4:
        continue
    total+=1
    if temp[2]==temp[3]:
        right+=1
    else :
        wrong+=1
print '='*50
print 'Total number is ',total
print 'Right number is ',right
print 'Wrong number is ',wrong
print 'Accuracy is ',str((right*1.0/total)*100)[:6]+'%'
print '='*50

f.close()

测试结果看着有点高啊…讲道理是不应该的,但是毕竟这是一次小测试吧，而且错误的数量还是很多的…数据集也比较小，后面再进行研究吧。