2019-10-25（python第五天）（下）

【练习】爬当当网——字典嵌套元组（自己版）

import requests
from lxml import html

def spider(isbn):

    # url = 'http://search.dangdang.com/?key=python%B1%E0%B3%CC%20%B4%D3%C8%EB%C3%C5%B5%BD%CA%B5%BC%F9&act=input'
    url = 'http://search.dangdang.com/?key={}&act=input'.format(isbn)     # 用国际标准书号的方法来查询
    print(url)

    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.70 Safari/537.36'}

    html_data = requests.get(url, headers=headers).text    # 获取html_data内容
    # print(html_data)

    # 使用xpath语法提取html_data中我们需要的内容
    selector = html.fromstring(html_data)
    ul_list = selector.xpath('//div[@id="search_nature_rg"]/ul/li')
    # selector.xpath('//@id="p24003310"/')
    print('有{}家商家出售此书'.format(len(ul_list)))     # 用长度leng()表示商家个数

    i = 0
    all_list = []

    all_dict = {}

    for li in ul_list:


        print('第', i+1, '个商家')

        # 爬取所有书籍的标题
        # //标签1[@属性1="属性值"]/.../text()
        # //标签2[@属性1="属性值"]/.../@属性名
        title = li.xpath('p/a/@title')[0]
        print(title)
        str(title)
        all_list.append(title)

        # 获取所有购买链接
        link = li.xpath('p/a/@href')[0]
        print(link)
        str(link)
        all_list.append(link)

        # 获取价格
        price = li.xpath('p[@class="price"]/span[@class="search_now_price"]/text()')[0]
        price = price.replace('¥', '')
        print(price)
        str(price)
        all_list.append(price)

        # 爬取除了当当自营以外的所有店铺
        # 方法一：
        store_name = li.xpath('p[@class="search_shangjia"]/a/text()')
        if len(store_name) == 0:
            store_name = '当当自营'
        else:
            store_name = store_name[0]
        print(store_name)
        # 方法二：
        # store_name = li.xpath('p[@class="search_shangjia"]/a[1]/text()')[0]
        str(store_name)
        all_list.append(store_name)

        i += 1

        all_dict[i] = title, link, price, store_name

    print("")

    print('输出all_dict：', all_dict)
    print('输出all_dict的长度：', len(all_dict))

    print('输出all_dict的每个键值对的值：', all_dict.values())
    print('输出all_dict的每个键值对的值的长度：', len(all_dict.values()))

    list_turn = list(all_dict.values())    # 所有值转换成列表

    print('原列表：', list_turn)

    list_turn = sorted(list_turn, key=lambda x: float(x[2]))    # 记得float()强制转换原来的字符串型价格数据
    print('排序后：', list_turn)

isbn = input('请输入你要查询的书号：')
spider(isbn)

请输入你要查询的书号：9787115428028
http://search.dangdang.com/?key=9787115428028&act=input
有60家商家出售此书
第 1 个商家
 Python编程 从入门到实践 【图灵程序设计丛书】Python3.5编程入门图书 机器学习 数据处理 网络爬虫热门编程语言 从基本概念到完整项目开发 帮助零基础读者迅速掌握Python编程 附赠源代码文件
http://product.dangdang.com/24003310.html
62.00
当当自营
第 2 个商家
 Python编程从入门到实践+零基础入门学习Python+Python基础教程第三版 Python编程入门书籍全3册P 
http://product.dangdang.com/1427665587.html
237.50
博鸿文化图书专营店

......

第 60 个商家
 python基础教程 零基础学python3.5编程从入门到实践 精通计算机程序设计pathon核心技术网络爬虫书籍 python基础教程
http://product.dangdang.com/1324822717.html
138.00
嘉博致远图书专营店

输出all_dict： {1: (' Python编程 从入门到实践 【图灵程序设计丛书】Python3.5编程入门图书 机器学习 数据处理 网络爬虫热门编程语言 从基本概念到完整项目开发 帮助零基础读者迅速掌握Python编程 附赠源代码文件', 'http://product.dangdang.com/24003310.html', '62.00', '当当自营'), 2: (' Python编程从入门到实践+零基础入门学习Python+Python基础教程第三版 Python编程入门书籍全3册P ', 'http://product.dangdang.com/1427665587.html', '237.50', '博鸿文化图书专营店')......
输出all_dict的每个键值对的值的长度： 60
原列表： [(' Python编程 从入门到实践 【图灵程序设计丛书】Python3.5编程入门图书 机器学习 数据处理 网络爬虫热门编程语言 从基本概念到完整项目开发 帮助零基础读者迅速掌握Python编程 附赠源代码文件', 'http://product.dangdang.com/24003310.html', '62.00', '当当自营'),...]
排序后： [(' 现货 自我进化 发现你的创新力 蒂娜齐莉格 著 ', 'http://product.dangdang.com/1330247877.html', '37.00', '童心悦美图书专营店'), (' Python编程 从入门到实践 python核心编程基础教程数据分析快速上手入门学习手册网络爬虫 赠 配套源代码+习题答案+直播课+2000门课程,Python3.5编程入门图书 机器学习 数据处理 网络爬虫热门编程语言', 'http://product.dangdang.com/1100731314.html', '59.80', '翰诚图书专营店'),...]

http://product.dangdang.com/1330247877.html
37.00
童心悦美图书专营店
 Python编程 从入门到实践 python核心编程基础教程数据分析快速上手入门学习手册网络爬虫 赠 配套源代码+习题答案+直播课+2000门课程,Python3.5编程入门图书 机器学习 数据处理 网络爬虫热门编程语言
http://product.dangdang.com/1100731314.html
59.80
翰诚图书专营店
 Python编程 从入门到实践 【图灵程序设计丛书】Python3.5编程入门图书 机器学习 数据处理 网络爬虫热门编程语言 从基本概念到完整项目开发 帮助零基础读者迅速掌握Python编程 附赠源代码文件
http://product.dangdang.com/24003310.html
...
820.00
阅微阁图书专营店