【python 编程】网页中文过滤分词及词频统计

从下面实例中可以学习到网页爬取，正则匹配，字符串过滤存储，文件读写等知识点，详细如下：

1、全局变量在函数中使用时需要加入global声明

2、获取网页内容存入文件时的编码为ascii进行正则匹配时需要decode为GB2312，当匹配到的中文写入文件时需要encode成GB2312写入文件。

3、中文字符匹配过滤正则表达式为ur'[\u4e00-\u9fa5]+',使用findall找到所有的中文字符存入分组

4、KEY，Value值可以使用dict存储，排序后可以使用list存储

5、字符串处理使用split分割，然后使用index截取字符串，判断哪些是名词和动词

6、命令行使用需要导入os,os.system(cmd)

7、下面程序执行结果如下，即找到网页中文名词及词频统计

doc_no word count

1 系统 5

1 账号 2
1 密码 2
1 分辨率 2
1 用户名 1
1 用户 1
1 软件 1
1 苹果 1
1 密码技术 1
1 宽度 1
1 火狐 1

# -*- coding: cp936 -*-
import urllib2
import re
import sys
import os


#os.system(cmd)os.system('ls')


doc_no = 1
def start_fun():
        reload(sys)
        sys.setdefaultencoding('utf-8')
        print sys.getdefaultencoding()


def testfun():
        str_test = "http://hao123.com\" class is >china</b>"
        searchstr= re.findall(r'http://(.*?)\"',str_test)
        print searchstr[0]
def split_word(webpage_chinese_file,webpage_chinese_word_file):
        #调用命令行对中文文档进行分词处理
        os.system('cd splitword && ictclas_demo_c.exe ../'+ webpage_chinese_file + ' ../'+webpage_chinese_word_file )
def doc_word_count_deal(webpage_chinese_word_file,webpage_all_word_count_docno):
        global doc_no
        word_dicts = dict()


        #1、读取中文分词内容到缓存中
        word_file = open(webpage_chinese_word_file,"r")
        word_buf = word_file.read()
        word_file.close()


        #2、将分词以空格分隔并按/过滤提取分词中文内容和词性，不是名词或者长度小于2的不进行记录
        word_sets =  word_buf.split(' ')
        for i in word_sets:
                #print i
                if i == "" :
                        continue
                j = i.index('/')
                #print 'j='+str(j)
                k = i[j+1:j+2]
                i = i[0:j]
                
                
                #print i
                #word_dicts[i]如果不存在KEY则会报KeyError错误
                if len(i) <= 2 or (k != None and k != 'n'):
                        #print 'k='+k
                        continue
                if word_dicts.get(i) == None :
                        word_dicts[i] = 1
                else:
                        word_dicts[i] = word_dicts[i] + 1
        #sorted(word_dicts.viewvalues())
        #list ->word_dicts = [ v for v in sorted(word_dicts.values())]


        #3、将过滤后的中文分词按照出现次数进行排序，将排序好的数据存储到相应的文件中                       
        word_count = open(webpage_all_word_count_docno,'w')
        word_dicts_list = sorted([(v, k) for k, v in word_dicts.items()], reverse=True)
        for i in word_dicts_list:
                print i[1],i[0]
                word_count.write(str(doc_no)+" "+i[1]+" "+str(i[0])+"\n")
        word_count.close()
        doc_no = doc_no + 1
                        
        """
        for i in word_dicts.viewkeys():
                print i,word_dicts[i]
        """        
def get_webpage_china(url_addr,webpage_src_file,webpage_chinese_file):
        #reload( sys )
        #sys.setdefaultencoding('utf-8')
        print sys.getdefaultencoding()
        #1、获取URL地址网页内容，默认为ascii,GB2312编码
        url = url_addr
        content = urllib2.urlopen(url).read()


        #2、打开文件将网页内容写入文件        
        file = open(webpage_src_file,'w')
        file.write(content)
        file.close


        #str=f.read()
        #fp.write(str.encode("utf-8"))
        
        #3、正则匹配获取网页中alert中所对应的内容
        """
        pattern1 = re.findall(r'alert\(\"(.*)\"\)',content)
        for i in pattern1:
                print i
                print 'hello world!\n'


        sub1 = re.sub(r'alert\(\"(.*)\"\)','Hello World!',content)
        """


        #chinaeseStr = re.match(ur".*[\u4e00-\u9fa5]+",content)
        #a="<p class=\"w490\"> 百度知道</p> "
        #(?<=>)[^a-zA-Z0-9_]+(?=<) 正则 ?<=只匹配最前面不进入分组，?=匹配最后不进入分组
        #4、获取网页中文内容
        chinaeseStr= re.findall(ur"[\u4e00-\u9fa5]+",content.decode('GB2312'))
        #5、将中文内容写入文件
        file_chinese = open(webpage_chinese_file,'w')
        for i in chinaeseStr:
                #print i
                file_chinese.write(i.encode('GB2312'))
        file_chinese.close()                
        
def main():
        url_addr = 'http://192.168.1.170:8000/jsoa/CheckUser.jspx'
        webpage_src_file = 'webpage_src_file.txt'
        webpage_chinese_file = 'webpage_chinese_file.txt'
        webpage_chinese_word_file = 'webpage_chinese_word_file.txt'
        webpage_all_word_count_docno = 'webpage_all_word_count_docno.txt'


        get_webpage_china(url_addr,webpage_src_file,webpage_chinese_file)
        split_word(webpage_chinese_file,webpage_chinese_word_file)
        doc_word_count_deal(webpage_chinese_word_file,webpage_all_word_count_docno)


main()