python爬取直播网站颜值分区封面图片案例

#!/usr/bin/python3.5
# -*- coding: utf-8 -*-
# @Time    : 2018/6/29 19:04
# @Author  : "Fengwr"
# @email   : [email protected]
# @File    : 05_案例爬取斗鱼图片.py
# @Software: PyCharm

import gevent
import urllib.request
from gevent import monkey
import re
monkey.patch_all()
def img_download(file_name, url):
    print("正在下载%s的图片" % url)
    img_read = urllib.request.urlopen(url) # 读取图片内容
    img_count = img_read.read()
    with open(file_name, "wb") as f:
        f.write(img_count)  # 写到文件中

# 取得图片的每一个链接,findall 得到列表，然后遍历

def main():
    file = open("1.txt", "r")
    addr_count = file.read()
    print(addr_count)
    file.close()
    image_list = re.findall(r"https://.*?\.jpg", addr_count)
    print("总计%d张图片" % len(image_list))
    i = 0
    thread_list = []
    for image_temp in image_list:
        s = gevent.spawn(img_download, "%d.jpg" % i, image_temp)
        thread_list.append(s)
        i += 1
    gevent.joinall(thread_list)


if __name__ == '__main__':
    main()

# 其中1.txt是打开需要爬取的分类页面，右击查看网页源代码，然后将源代码复制到一个txt文本里就好

# 我是在Windows上调试的，txt编码格式为ASCII

# 利用了协程，速度较快。100张图片几秒就好