requests+selenium 爬取图片

上面介绍用scrapy爬取图片，现在咱们就用requests库实现图片以及其他多媒体文件的获取吧。

由于所爬去的网页图片是有js动态渲染过得，单纯的requests库是获取不到链接的，所以用selenium+phantomjs实现链接的提取，以下是具体的代码

from _md5 import md5

import requests
from selenium import webdriver
import re
from multiprocessing import Pool

# 获取完整网页源码
def get_one_html(url):
    browser = webdriver.Phantomjs()

    browser.get(url)
    p_source = browser.page_source
    browser.close()
    return p_source

# 用正则表达式提取链接并且返回URL
def parse_html(html):
    pattern = re.compile('.*?', re.S)
    urls = re.findall(pattern, html)
    print(urls)
    return urls

# 下载图片，注意的是文件写入的是二进制，并且文件名使用MD5生成固定长度的十六进制，防止文件名冲突，index表示页数
def download_imgs(urls):

    print('one page')
    for index, url in enumerate(urls):

        response = requests.get(url)
        content = response.content
        file_path = '{0}\\{1}{2}{3}'.format('F:\\jdpics', md5(content).hexdigest(), index, '.jpg')
        with open(file_path, 'wb') as f:
            f.write(content)

    print('当前页面爬取完成')

# 构造一个可以变化的URL，并下载
def main(i):
    url = 'http://jandan.net/ooxx/page-'+str(i)+'#comments'
    html = get_one_html(url)

    urls = parse_html(html)

    download_imgs(urls)


# 实现一个多进程爬虫
if __name__ == '__main__':
    # for i in range(1, 85):
    #     url = 'http://jandan.net/ooxx/page-'+str(i)+'#comments'
    #     main(url)

    pool = Pool()
    pool.map(main, [i for i in range(1, 85)])