python爬虫-爬取当当网书籍信息存到Excel中

一、任务

获取当当网上至少300本书【均为某类书，如python相关的书籍，或概率论相关的书籍】的信息，包括书名，网址，价格，作者，并存在excel表格中。

二、分析

(一)、单页面的信息分析

源代码分析

在当当网的搜索框输入“python”，出现搜索页面，并查看源代码。

<li ddt-pit="3" class="line3" id="p25333314">

     
 	<img data-original='http://img3m4.ddimg.cn/6/6/25333314-1_b_2.jpg'
src='images/model/guan/url_none.png' alt=' Python从菜鸟到高手'/>
a>
<p class="name" name="title" >
	 <font class="skcolor_ljg">Pythonfont>从菜鸟到高手JetBrains官方推荐图书！JetBrains官大中华区市场部经理赵磊作序！送2400分钟同步视频课程！500个案例，400道Python练习题，电子书，10万行源代码，6个实战项目！
	a>
p>
<p class="detail" >JetBrains官方推荐图书！JetBrains官大中华区市场部经理赵磊作序！送2400分钟同步视频课程！500个案例，400道Python练习题，电子书，10万行源代码，6个实战项目！ 李宁 私房菜谱 ： ? Python语法基础 ? Python高级编程 ? Python Web开发 ? Python科学计算与数据分析 ? Python Web爬虫技术 ? Python项目实战 李宁 实战项目 ： ? Web项目实战：基于Flask的美团网 ? Web项目实战：基于Django的58同城 ? 爬虫项目实战：天气预报服务API ? 爬虫项目实战：胸罩销售数据分析 ? GUI项目实战：动态修改域名指向的IP ? 游戏项目实战：俄罗斯方块
p>
<p class="price" > 
	<span class="search_now_price">¥112.60
    span>
  
    
    定价：
    a>
    <span class="search_pre_price">¥128.00
    span>
    <span class="search_discount"> (8.8折) 
    span>
p>
<div class="lable_label">
    <span class="new_lable" y="">
    span>
div>
<p class="search_star_line" >
    <span class="search_star_black">
	    <span style="width: 100%;">
        span>
    span>
    <a href="http://product.dangdang.com/25333314.html?point=comment_point"
target="_blank" name="itemlist-review" dd_name="单品评论" class="search_comment_num"
ddclick="act=click_review_count&pos=25333314_2_1_q">22条评论
    a>
p>
<span class="tag_box">
span>
<p class="search_book_author">
	<span>
		<a href='http://search.dangdang.com/?key2=李宁&medium=01&category_path=01.00.00.00.00.00'
name='itemlist-author' dd_name='单品作者' title='李宁'>李宁
		a>
  
  
        
	span>
	<span > /2018-09-01
    span>   
    <span>  /
		<a href='http://search.dangdang.com/?key=&key3=%C7%E5%BB%AA%B4%F3%D1%A7%B3%F6%B0%E6%C9%E7&medium=01&category_path=01.00.00.00.00.00'
name='P_cbs' dd_name='单品出版社' title='清华大学出版社'>清华大学出版社
		a>
	span>
<div class="shop_button">
<p class="bottom_p">
	加入购物车
	a>
	收藏
	a>
p>
div>        
li>

目标信息定位与分析

序号	要获取的信息	定位信息	如何定位目标标签
1	书名	a标签的title属性
2	网址	a标签的href属性
3	价格	span标签的文本内容	< span class=“search_now_price”>
4	作者	p标签内部的第一个a标签的title属性	< p class=“search_book_author”>

备注：有些书是没有出版社的，因此本文不爬取出版社信息。

通过观察，可以发现，每个被定为的标签均出现60次【使用ctrl+F,在源代码页面进行页内搜索】，从而可判断，该页面上共有60本书。但每个页面上所放的商品书籍所占的页面面积不同，因此不一定每个页面都准确地有60本书，但会约在60本左右。

代码设计

#本程序需要安装BeautifulSoup库，pandas库

#导入各种需要的模块
from urllib.request import urlopen      #查找python的request模块(在标准库urllib里面)，只导入一个urlopen函数
from bs4 import BeautifulSoup           #导入BeautifulSoup库，该库通过定位HTML标签来组织复杂的网络信息

#定义存放所需信息的列表
author = []                     #构造空列表，存放“作者”
price = []                      #构造空列表，存放“价格”
book = []                       #构造空列表，存放“书名”
link = []                       #构造空列表，存放“网址”

#获取单个页面的书名，网址，价格，作者
def onePage(url):

    #生成某页面的HTML标签解析树
    html = urlopen(url)                     #打开并读取从网络获得的远程对象，即html页面
    bsObj = BeautifulSoup(html,"lxml")     #用lxml解析器对该对象html的标签进行解析，生成解析树

    #找出该页面的所有作者
    p_set = bsObj.findAll("p",{"class":"search_book_author"})   #在解析树中，找出所有的class="search_book_author"的p标签
    for p in p_set:                 #遍历p标签集合，对每个p标签进行提取
        a = p.find("a")             #提取每个p标签下的子标签中的第一个a标签
        author.append(a["title"])   #将a标签的title属性，即作者，放入author列表中

    #找出该页面的所有价格
    span_set = bsObj.findAll("span",{"class":"search_now_price"})   #在解析树中，找出所有的class="search_now_price"的span标签
    for span in span_set:           #遍历span标签集合，对每个span标签进行提取
        price.append(span.get_text())#span标签的文本内容即价格，放入price列表中

    #找出该页面的所有书名和该书的网址
    a_set = bsObj.findAll("a",{"dd_name":"单品图片"})   #在解析树中，找出所有的a标签，该标签的属性"dd_name"的属性值是"单品图片"
    for a in a_set:                 #遍历a标签集合，对每个a标签进行提取
        book.append(a["title"])     #提取a标签的属性title,即书名，放入列表book中
        link.append(a["href"])      #提取a标签的属性href,即该书网址，放入列表link中

    #检验是否每个页面的每本书都提取了四个信息，若否，则打印出的四个列表长度不一致
    print(len(book))
    print(len(link))
    print(len(author))
    print(len(price))

(二)、所有目标页面链接分析

目标链接分析

总共要爬取至少300本书的信息，每个页面上共约60本书，所以共须爬取至少5个页面。在当当网中的搜索框，输入”python”，可得到python书籍的搜索结果页面，观察可列出目标页面，如下所示：
http://search.dangdang.com/?key=python&act=input

http://search.dangdang.com/?key=python&act=input&page_index=2

http://search.dangdang.com/?key=python&act=input&page_index=3

http://search.dangdang.com/?key=python&act=input&page_index=4

http://search.dangdang.com/?key=python&act=input&page_index=5

可观察到，除了首页，其他目标页面的链接表达式具有规律性。但其实，可以猜测，首页的链接等同于 http://search.dangdang.com/?key=python&act=input&page_index=1，事实确实如此。

代码设计

#构造目标链接，共5个
for num in range(1,6):
    commonLink ="http://search.dangdang.com/?key=python&act=input&page_index="      #链接的公共部分
    url =commonLink+str(num)            #链接的不同部分
    onePage(url)                        #对每个页面进行信息提取

#将四个信息列表合并为dataframe,并存到excel中
from pandas.core.frame import DataFrame
merge={"书籍":book,                      #将四个列表合并成字典
        "价格": price,
        "作者" : author,
        "网址":link}
data=DataFrame(merge)                    #将字典转换成为数据框
data.to_csv('result.csv')               #将数据框存储在当前文件所在的目录下的'result.csv'中

三、注意要点

1.确定每个被定位标签出现次数是一样的。如果不一样，则会出现，“作者”收集到60个，“书名”收集到70个，则结果出错。

2.确定同一个页面中每本书的标签结构都是一样的。若果不一样，则无法通过同一个函数去提取每本书的信息。

3.确定每个页面的标签结构都是一样的。如果不一样，则无法通过同一个函数去爬取所有的目标页面。

四、完整代码

备注：该代码只适合上面的逻辑，若要使用，一定要对代码进行修改，特别是网址部分。

#本程序需要安装BeautifulSoup库，pandas库

#导入各种需要的模块
from urllib.request import urlopen      #查找python的request模块(在标准库urllib里面)，只导入一个urlopen函数
from bs4 import BeautifulSoup           #导入BeautifulSoup库，该库通过定位HTML标签来组织复杂的网络信息

#定义存放所需信息的列表
author = []                     #构造空列表，存放“作者”
price = []                      #构造空列表，存放“价格”
book = []                       #构造空列表，存放“书名”
link = []                       #构造空列表，存放“网址”

#获取单个页面的书名，网址，价格，作者
def onePage(url):

    #生成某页面的HTML标签解析树
    html = urlopen(url)                     #打开并读取从网络获得的远程对象，即html页面
    bsObj = BeautifulSoup(html,"lxml")     #用lxml解析器对该对象html的标签进行解析，生成解析树

    #找出该页面的所有作者
    p_set = bsObj.findAll("p",{"class":"search_book_author"})   #在解析树中，找出所有的class="search_book_author"的p标签
    for p in p_set:                 #遍历p标签集合，对每个p标签进行提取
        a = p.find("a")             #提取每个p标签下的子标签中的第一个a标签
        author.append(a["title"])   #将a标签的title属性，即作者，放入author列表中

    #找出该页面的所有价格
    span_set = bsObj.findAll("span",{"class":"search_now_price"})   #在解析树中，找出所有的class="search_now_price"的span标签
    for span in span_set:           #遍历span标签集合，对每个span标签进行提取
        price.append(span.get_text())#span标签的文本内容即价格，放入price列表中

    #找出该页面的所有书名和该书的网址
    a_set = bsObj.findAll("a",{"dd_name":"单品图片"})   #在解析树中，找出所有的a标签，该标签的属性"dd_name"的属性值是"单品图片"
    for a in a_set:                 #遍历a标签集合，对每个a标签进行提取
        book.append(a["title"])     #提取a标签的属性title,即书名，放入列表book中
        link.append(a["href"])      #提取a标签的属性href,即该书网址，放入列表link中

    #检验是否每个页面的每本书都提取了四个信息，若否，则打印出的四个列表长度不一致
    print(len(book))
    print(len(link))
    print(len(author))
    print(len(price))

#构造目标链接，共5个
for num in range(1,6):
    commonLink ="http://search.dangdang.com/?key=python&act=input&page_index="      #链接的公共部分
    url =commonLink+str(num)            #链接的不同部分
    onePage(url)                        #对每个页面进行信息提取

#将四个信息列表合并为dataframe,并存到excel中
from pandas.core.frame import DataFrame
merge={"书籍":book,                      #将四个列表合并成字典
        "价格": price,
        "作者" : author,
        "网址":link}
data=DataFrame(merge)                    #将字典转换成为数据框
data.to_csv('result.csv')               #将数据框存储在当前文件所在的目录下的'result.csv'中

五、参考

《python网络数据采集》