python 网页爬虫+保存图片+多线程+网络代理

今天，又算是浪费了一天了。python爬虫，之前写过简单的版本，那个时候还不懂原理，现在算是收尾吧。

以前对网页爬虫不了解，感觉非常神奇，但是解开这面面纱，似乎里面的原理并不是很难掌握。首先，明白一个概念，HTTP协议，为什么叫超文本协议。超文本的概念，是所有的数据几乎都使用文本模式传输，包括文字，图像等，然后在一个网页中，需要做的是解析这些字符数据，并还原成原始的文件。

爬虫的概念，是以一个网页作为起点，从中发现更多的链接和数据信息，并依此以树形展开，可以想象成为一颗树，对每一个网页，需要按照需求对数据进行筛选(找图片，呢还是找关键字，或者找音频等)，最后，根据筛选出的URL，对数据进行下载。大致步骤为：

网页==》网页树==》筛选信息==》下载

笔者这里就以网页图片作为例子：

比如，一张网页里，可能有很多张图片，首先最基本的是对这一张网页中所有的图片链接要能够识别出来，这里一般的方法是对网页文本根据正规式进行匹配，从而搜集包含图片的链接。eg：reg = r"""src\s*="?(\S+)\.jpg"""。其次，对于这些链接进行文件。看起来很抽象的东西，这两步就能实现。接着，网页树就有点难，需要从网页中找到有用的网页链接，然后对这些连接又一次进行筛选，有点像递归。这里的难点很多，比如，当网页链接数量非常多的时候，如何有效筛选有效连接，如何控制搜索深度，如何分配进程等等。

另外，由于目前很多国外的网站是上不去的，所以，有些网页数据下载需要通过代理；另外，考虑到有些机器性能较好，也实现了多线程的机制。笔者进行了一天的调研，终于调试通过。以下是代码：

 

import re

import os

import sys

import time  

import threading

import socket

import urllib

import urllib2





server = '127.0.0.1'

port = '8087'

timeout = 720

socket.setdefaulttimeout(timeout)



class timer(threading.Thread): #The timer class is derived from the class threading.Thread  

	def __init__(self, num, interval,dir,url):  

		threading.Thread.__init__(self)  

		self.thread_num = num

		self.interval = interval  

		self.url = url  

		self.dir = dir  

		self.thread_stop = False  

	def run(self): #Overwrite run() method, put what you want the thread do here  

		#while not self.thread_stop:  

			DownloadImgs(self.interval,self.url,self.dir)

		#print 'Thread Object(%d), Time:%s' %(self.thread_num, time.ctime())  

		#time.sleep(self.interval)  

	def stop(self):  

		self.thread_stop = True 



def getContent(url,type):

	print(">>start connecting:%s" % url)

	from urllib2 import Request, urlopen, URLError, HTTPError

	

	proxy = urllib2.ProxyHandler({'http':'http://127.0.0.1:8087'}) 

	opener = urllib2.build_opener(proxy,urllib2.HTTPHandler) 

	urllib2.install_opener(opener)

	try:

		urlHandler = urllib2.urlopen(url)

		headers = urlHandler.info().headers

		length = 0

		for header in headers:

			if header.find('Length') != -1:

				length = header.split(':')[-1].strip()

				length = int(length)

		if(type=="img" and length<15000):

			print(" >>>>>>>>%d" % length)

			dataStr = 'EOF'

		else:

			print(" ++++++++%d" % length)

			dataStr = urlHandler.read()

	except HTTPError, e:

		print 'The server couldn\'t fulfill the request.'

		print 'Error code: ', e.code

	except URLError, e:

		print 'We failed to reach a server.'

		print 'Reason: ', e.reason

	else:

#	print("%s" % dataStr)

#	f = open("text.txt",'wb')

#	f.write(dataStr)

#	f.close()

		return dataStr

def DownloadImgs(interval,url,dir):

	dataStr = getContent(url,"html")

	print("...:%s" % url)

	if(os.path.isdir(dir) == False):

		os.mkdir(dir);

	reg = r"""src\s*="?(\S+)\.jpg"""

	imgre = re.compile(reg)

	imglist = imgre.findall(dataStr)

	x = 0

	for imgurl in imglist:

		imgurl =''.join('%s.jpg' % imgurl)

		if(imgurl.find('http:')>=0):

			print ("\tdownloading: %s,%s" % (x,imgurl))

			imgdata=getContent(imgurl,"img")

			if(imgdata != 'EOF'):

				outputFile = '%s/%s.jpg' % (dir,x)

				f = open(outputFile,'wb')

				f.write(imgdata)

				f.close()

				x = x + 1

		else:

			print ("\tcannot connect: %s" % imgurl)

		time.sleep(interval)



url_="http://tieba.baidu.com/p/";

id=2460150866;

n=1;



thread=[]

for i in range(0, n):

	url=''.join('%s%d' % (url_,id + i))

	dir=''.join('PIC%d' % (id+i) )

	print("######dir = %s, id = %d" % (dir,id+i))

	thread.append(timer(1, 1,dir,url))

for i in range(0, n):

	thread[i].start()







#for i in range(0, n):

#	url=''.join('%s%d' % (url_,id + i))

#	dir=''.join('PIC%d' % i)

#	print("######dir = %s, id = %d" % (dir,id))

#	DownloadImgs(0.1,url,dir)