python爬贴吧回复内容_Python爬虫_获取贴吧内容

对正则表达式要有更加深刻的研究，本程序对百度贴吧使用，但是截取不了表情。如果想把所有页面的内容都获取下来不难，拓展一下即可。

# -*- coding:utf-8 -*-

import urllib

import urllib2

import re

#处理页面标签类

class Tool:

#去除img标签,7位长空格

removeImg = re.compile('| {7}|')

#删除超链接标签

removeAddr = re.compile('|')

#把换行的标签换为\n

replaceLine = re.compile('

|

|

|')

#将表格制表

替换为\t

replaceTD= re.compile('

')

#把段落开头换为\n加空两格

replacePara = re.compile('

')

#将换行符或双换行符替换为\n

replaceBR = re.compile('
|
')

#将其余标签剔除

removeExtraTag = re.compile('<.>')

def replace(self,x):

x = re.sub(self.removeImg,"",x)

x = re.sub(self.removeAddr,"",x)

x = re.sub(self.replaceLine,&