python 过滤文本中的HTML标签

最近需要过滤文本中的HTML标签,在网上找了个大神写的python方法:

'''过滤HTML中的标签
#将HTML中标签等信息去掉
#@param htmlstr HTML字符串.'''
def filter_tag(htmlstr):  
    re_cdata = re.compile(']*>', re.I)  
    re_script = re.compile('<\s*script[^>]*>[^<]*<\s*/\s*script\s*>', re.I) #过滤脚本  
    re_style = re.compile('<\s*style[^>]*>[^<]*<\s*/\s*style\s*>', re.I) #过滤style  
    re_br = re.compile('')  
    re_h = re.compile(']*>')  
    re_comment = re.compile('')  
    s = re_cdata.sub('', htmlstr)  
    s = re_script.sub('', s)  
    s=re_style.sub('',s)  
    s=re_br.sub('\n',s)  
    s=re_h.sub(' ',s)  
    s=re_comment.sub('',s)  
    blank_line=re.compile('\n+')  
    s=blank_line.sub('\n',s)  
    s=re.sub('\s+',' ',s)  
    s=replaceCharEntity(s)  
    return s  

'''##替换常用HTML字符实体.
#使用正常的字符替换HTML中特殊的字符实体.
#你可以添加新的实体字符到CHAR_ENTITIES中,处理更多HTML字符实体.
#@param htmlstr HTML字符串.'''
def replaceCharEntity(htmlstr):  
    CHAR_ENTITIES={'nbsp':'','160':'',  
                    'lt':'<','60':'<',  
                    'gt':'>','62':'>',  
                    'amp':'&','38':'&',  
                    'quot':'"''"','34':'"'}  
    re_charEntity=re.compile(r'&#?(?P\w+);') #命名组,把 匹配字段中\w+的部分命名为name,可以用group函数获取  
    sz=re_charEntity.search(htmlstr)  
    while sz:  
        #entity=sz.group()  
        key=sz.group('name') #命名组的获取  
        try:  
            htmlstr=re_charEntity.sub(CHAR_ENTITIES[key],htmlstr,1) #1表示替换第一个匹配  
            sz=re_charEntity.search(htmlstr)  
        except KeyError:  
            htmlstr=re_charEntity.sub('',htmlstr,1)  
            sz=re_charEntity.search(htmlstr)  
    return htmlstr  

非常好用,谢谢大神。 python  过滤文本中的HTML标签 - guotengfei19880205 - guotengfei19880205的博客

你可能感兴趣的:(python)