python采集美女图片

2019独角兽企业重金招聘Python工程师标准>>>

#!/usr/bin/env python
#encoding=utf-8
#采集美女图片到本地

import urllib

import re

#获取要下载的地址的源码 
def getHtml(url):
    page  = urllib.urlopen(url)
    html = page.read()
    return html

#获取url地址列表
def getUrl(html):
    reg =r'href="(http:\/\/www\.mm131\.com\/xinggan/.+?\.html)"'
    urlre =re.compile(reg)
    urllist =re.findall(urlre,html)
    return urllist

#采集的地址
html =getHtml("http://www.mm131.com/xinggan/")

#分析有用的url
urls = getUrl(html)

#定义一个列表保存要采集的图片地址
imgs =[];

for url in urls:
    pic = getHtml(url)
    #
    reg =r'src="(http:\/\/img1\.mm131\.com\/pic\/.+?\/.+?\.jpg)"'
    urlre =re.compile(reg)
    piclist =re.findall(urlre,html)
    #分析的图片追加到列表，这里没有做去重处理
    imgs.extend(piclist)

#下载图片到本地
x = 0
for imgurl in imgs:
     urllib.urlretrieve(imgurl,'%s.jpg' % x)
     x+=1

 

转载于:https://my.oschina.net/yonghan/blog/798900