Python网络爬虫小试刀——抓取ZOL桌面壁纸图片1

第一次写爬虫类文章，初学Python小试牛刀，不足之处还请多多指教。也算是对自己技术的一点总结吧。

所用系统为Mac Os。使用item2编译运行。

总目标是抓取http://desk.zol.com.cn网站所有壁纸。

本篇目标：已知图片的url下载一张壁纸图片。

用到了urllib中的urllib.urlretrieve()这个函数

函数介绍如下：

>>>> help(urllib.urlretrieve)
Help on function urlretrieve in module urllib:

urlretrieve(url, filename=None, reporthook=None, data=None)

• 参数 finename 指定了保存本地路径（如果参数未指定，urllib会生成一个临时文件保存数据。）
• 参数 reporthook 是一个回调函数，当连接上服务器、以及相应的数据块传输完毕时会触发该回调，我们可以利用这个回调函数来显示当前的下载进度。
• 参数 data 指 post 到服务器的数据，该方法返回一个包含两个元素的(filename, headers)元组，filename 表示保存到本地的路径，header 表示服务器的响应头。

把url＝"http://b.zol-img.com.cn/desk/bizhi/image/7/960x600/1450950428732.jpg"的这张图片下载下来。

代码如下：

  1 #/usr/bin/env python
  2
  3 import urllib
  4 import os
  5
  6 url = 'http://b.zol-img.com.cn/desk/bizhi/image/7/960x600/1450950428732.jpg'
  7
  8 #img name
  9 imgName = 'pic1.jpg'
 10
 11 urllib.urlretrieve(url, imgName)
 12
 13 print 'Done!'
 14

加一个print 'Done!'可以让item2告诉你已经结束了。

结果如下：

OK，比较简单。

下面将这个函数包装成一个下载图片的函数。

函数我们需要传进去的变量包括，url，图片名字。

so，函数大概是这个样子 def downloadImg(url, imgName):。

现在可以向函数里面填东西以达到我们的目的了。

雏形如下：

  1 #/usr/bin/env python
  2
  3 import urllib
  4 import os
  5
  6 def downloadImg(url, imgName):
  7         urllib.urlretrieve(url, imgName)
  8
  9 def main():
 10     url = 'http://b.zol-img.com.cn/desk/bizhi/image/7/960x600/1450950428732.jpg'
 11         #img name4
 12         imgName = 'pic1.jpg'
 13
 14         downloadImg(url, imgName)
 15
 16 if __name__ == '__main__':
 17     main()
 18

结果同上。

问题来了，如果我们想将图片下载到自己希望到路径怎么办？

函数还需要再加一个表示路径的变量savePath。

于是函数变成了这个样子def downloadImg(url, imgName, savePath):

然后函数里面加路径是否存在的判断，然后将下载好的图片的路径打印下来。

代码如下：

  1 #/usr/bin/env python
  2
  3 import urllib
  4 import os
  5
  6 def downloadImg(url, imgName, savePath):
  7         if savePath == '':
  8                 return 'image save path is nil.'
  9         if imgName == '':
 10                 return 'image is nil.'
 11         if url == '':
 12                 return 'url is nil.'
 13
 14         if not os.path.exists(savePath):
 15                 os.makedirs(savePath)
 16         if not savePath.endswith('/'):
 17                 savePath += '/'
 18
 19         savePathName = savePath + imgName
 20
 21         urllib.urlretrieve(url, savePathName)
 22
 23         print url
 24
 25 def main():
 26     url = 'http://b.zol-img.com.cn/desk/bizhi/image/7/960x600/1450950428732.jpg'
 27         #img name4
 28         imgName = 'pic1.jpg'
 29         #img save path
 30         savePath = os.getcwd()
 31
 32         downloadImg(url, imgName, savePath)
 33
 34 if __name__ == '__main__':
 35     main()
 36

以后根据图片url下载图片就可以使用这个函数了。

the end

谢谢

下篇预告：将一个图片集的不定数目的图片全部下载到指定文件夹。