QQ空间图片爬虫

昨晚玩了一下QQ空间的图片爬虫，发现跟一般的不一样。

QQ空间里面的图片用一般的urllib.urlopen(url)打开图片是打不开。然后想用requests模块，不过感觉有点麻烦，后来用了httplib模块的HTTPConnection进行连接才成功。

一爬，发现只爬了60+张图片，空间一共有700+，为啥不行。。。

 HTTPConnection需要跟主机建立连接的，后来发现700+张的图片并不是在同一个主机上，，，，然后就对url进行分析提取主机再建立连接。

查看了一下不同连接的请求信息，主要是headers不一样：

urllib.urlopen(url)的req.headers:

{ host: 'localhost:3000', 'user-agent': 'Python-urllib/1.17' }

HTTPConnection的req.headers:

{ host: 'localhost:3000', 'accept-encoding': 'identity' }

Chromed headers:

{ host: 'localhost:3000',
  connection: 'keep-alive',
  'cache-control': 'max-age=0',
  accept: 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
  'upgrade-insecure-requests': '1',
  'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.97 Safari/537.36',
  'accept-encoding': 'gzip, deflate, sdch',
  'accept-language': 'zh-CN,zh;q=0.8',
  cookie: 'a3356_times=4',
  'if-none-match': 'W/"a01a-igxyqFU/wcUhvngSw3XXSQ"' }

只要对请求的headers进行处理就可以相应地防止爬虫