Python入门爬虫（二）爬网易云个人专辑图片

Python（KK 英语发音：/ˈpaɪθən/）是一种面向对象、直译式计算机程序设计语言。也是一种功能强大而完善的通用型语言，已经具有十多年的发展历史，成熟且稳定。Python 具有脚本语言中最丰富和强大的类库，足以支持绝大多数日常应用。 Python语法简捷而清晰，具有丰富和强大的类库。它常被昵称为胶水语言，它能够很轻松的把用其他语言制作的各种模块（尤其是C/C++）轻松地联结在一起。

Python入门爬虫(http://www.jianshu.com/p/0fb7f178d1b7)

上一篇简单的讲述了如何爬到一些简单的文字，显示在控制台并存入文件中，接下来是一起来爬一些图片，下载到本地。

先来介绍一下。Selenium，PhatomJs，python被称为爬虫的无敌三件套。
PhatomJS其实就是一个没有界面的浏览器，最主要的功能是能够读取js加载的页面。
Selenium实质上是一个自动化测试工具，能够模拟用户的一些行为操作，比如下拉网页。

在这里我没有用PhatomJs来爬图片（好像因为这里的网络问题，运行好久都没有啥反应，所有这里改用了chrome）
这是chrome所需的驱动(http://npm.taobao.org/mirrors/chromedriver/)
所对应的chrome版本（http://blog.csdn.net/huilan_same/article/details/51896672）

我们先来一个小例子感受一下 Selenium，这里我们用 Chrome 浏览器来测试，方便查看效果，到真正爬取的时候换回 PhantomJS 即可。

from selenium import webdriver
 
browser = webdriver.Chrome()
browser.get('http://www.baidu.com/')

运行这段代码，会自动打开浏览器，然后访问百度。

如果程序执行错误，浏览器没有打开，那么应该是没有装 Chrome 浏览器或者 Chrome 驱动没有配置在环境变量里。下载驱动，然后将驱动文件路径配置在环境变量即可。

OK，基本的都讲完了，下面开始爬图片洛(这里爬的是我喜欢的歌手Lisa)
我们先来分析一下网易云个人专辑的结构

搜狗截图17年11月10日2017_1.png

看到下面的地址

搜狗截图17年11月10日2025_3.png

看一下地址栏的地址
第一页的地址是 http://music.163.com/#/artist/album?id=16995&limit=12&offset=0
第二页的地址是 http://music.163.com/#/artist/album?id=16995&limit=12&offset=12
变换的只有offset后面的值,一页只显示12个
所有我们直接修改原地址为 http://music.163.com/#/artist/album?id=16995&limit=36&offset=0
这样子就是第一页显示完全部的专辑图片(都不需要我们弄分页的功能的，多好啊。。。)

这里值得注意的是，该页面使用frame 框架，使用Selenium + PhantomJS 后并不会加载iframe 框架中的网页内容。iframe 框架相当于在页面中又加载了一个页面，需要使用Selenium 的 switch_to.frame() 方法加载（官网给的方法是switch_to_frame()，但是IDE提醒使用前面的方法替代该方法）。

接下来开始写程序

开始准备工作，把需要的库都导入，准备好驱动

# -*-coding:utf8-*-
from bs4 import BeautifulSoup
import requests
import re
import urllib
import os
import time
from selenium import webdriver

#请求地址
url="http://music.163.com/#/artist/album?id=16995&limit=36&offset=0"
#驱动的地址
path="D:\chromedrive\chromedriver.exe"
#可以使用PhantomJS驱动来进行,任意选
#方法:driver=webdriver.PhantomJS("驱动的地址")
#启动驱动
driver=webdriver.Chrome(executable_path=path)
#Chrome会自动打开url
driver.get(url)

找到该节点，然后依次循环得到下面的节点

#得到页面的内容
page=driver.page_source
#找到节点
all_li=BeautifulSoup(page,'lxml').find(id="m-song-module").find_all('li')

搜狗截图17年11月10日2029_4.png

接下来是最后的一步了，把标签的src的值提取出来，去掉规定的长和宽，最后下载到本地文件夹

    for li in all_li:
        #得到src地址
        image_url=li.find('img')['src']
        title=li.find('p')['title']
        time=li.find('span').get_text()
        #找到问号的下标
        index=image_url.index('?')
        #去掉原来地址的长和宽
        image_url=image_url[:index]
        photo_name =title+'-'+time
        #下载到本地文件夹
        urllib.urlretrieve(image_url,'D:\Lisa\\'+photo_name+'.jpg')
        print "成功"

全部代码:

# -*-coding:utf8-*-
from bs4 import BeautifulSoup
import requests
import re
import urllib
import os
import time
from selenium import webdriver

#请求地址
url="http://music.163.com/#/artist/album?id=16995&limit=36&offset=0"
#驱动的地址
path="D:\chromedrive\chromedriver.exe"
#启动驱动
driver=webdriver.Chrome(executable_path=path)
#Chrome会自动打开url
driver.get(url)
#网易云的框架是frame
driver.switch_to.frame("g_iframe")
#得到页面的内容
page=driver.page_source
#找到节点
all_li=BeautifulSoup(page,'lxml').find(id="m-song-module").find_all('li')

 for li in all_li:
        #得到src地址
        image_url=li.find('img')['src']
        title=li.find('p')['title']
        time=li.find('span').get_text()
        #找到问号的下标
        index=image_url.index('?')
        #去掉原来地址的长和宽
        image_url=image_url[:index]
        photo_name =title+'-'+time
        #下载到本地文件夹
        urllib.urlretrieve(image_url,'D:\Lisa\\'+photo_name+'.jpg')
        print "成功"

看看自己的文件夹:

搜狗截图17年11月10日2040_5.png