python学习第十二天

”笨办法学python“小结

对于《笨办法学Python》的学习基本上是学习完毕了，但是还需要勤加练习，个人认为要学好这个东西唯有多敲代码，多读代码，多记忆才是主要途径，所以在之后也会继续隔一段时间复习基础的东西，譬如powershell的快捷应用，以及自动化测试的编写等都需要不断的练习，至此笨办法的学习告一段落

数据分析的入门学习

经过阅读书上的内容，初步了解了爬虫的工作原理，并学会简单的编写一个爬虫，下面是一个爬去豆瓣读书的简单爬虫程序

import requests
import pandas as pd
from bs4 import BeautifulSoup

#请求数据
def get_data():
    url = 'https://book.douban.com/latest'
    headers = {'User-Agent': "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.157 Safari/537.36"}
    data = requests.get(url, headers)
    #print(data.text)
    return data
#解析数据
def prase_data(data):
    soup = BeautifulSoup(data.text, 'lxml')
    #print(soup)

    #按标签提取

    book_left = soup.find('ul', {'class':'cover-col-4 clearfix'})
    book_left = book_left.find_all('li')

    book_right = soup.find('ul', {'class':'cover-col-4 pl20 clearfix'})
    book_right = book_right.find_all('li')

    books_all = list(book_left) + list(book_right)

    img_urls = []
    titles = []
    ratings = []
    authors = []
    details =[]

    for book in books_all:
#书籍图片的url
        img_url = book.find_all('a')[0].find('img').get('src')
        img_urls.append(img_url)
#标题
        title = book.find_all('a')[1].get_text()
        titles.append(title)
#评价
        rating = book.find('p',{'class':'rating'}).get_text()
        rating = rating.replace('\n','').replace(' ','')
        ratings.append(rating)
#作者
        author = book.find('p',{'class':'color-gray'}).get_text()
        author = author.replace('\n','').replace(' ','')
        authors.append(author)
#描述
        detail = book.find_all('p')[2].get_text()
        detail = detail.replace('\n','').replace(' ','')
        details.append(detail)
#输出
    print("img_urls:",img_urls)
    print("titles:", titles)
    print("ratings:", ratings)
    print("authors:", authors)
    print("details:", details)
    return img_urls,titles,ratings,authors,details
#储存
def save_data(img_urls,titles,ratings,authors,details):
    result = pd.DataFrame()
    result['img_urls'] = img_urls
    result['titles'] = titles
    result['ratings'] = ratings
    result['authors'] = authors
    result['details'] = details
    result.to_csv('result.csv', index=None)
#开始爬取
def run():
    data = get_data()
    img_urls,titles,ratings,authors,details = prase_data(data)
    save_data(img_urls, titles, ratings, authors, details)

if __name__=='__main__':
    run()

下面是获得数据，经过检查并无错误

img_urls,titles,ratings,authors,details
https://img3.doubanio.com/view/subject/m/public/s32289202.jpg,白日漫游,评价人数不足,远子/广西师范大学出版社/2019-5,青年作家远子最新力作，以十四篇彼此独立而又互有呼应的短篇小说，刻画在大都市挣扎求生的年轻人，描述一种渴望自由而又无往不在枷锁之中的生活状态。
https://img1.doubanio.com/view/subject/m/public/s32305167.jpg,为何，以及如何谋划一场火灾,8.9,[美]杰西·鲍尔（JesseBall）/中信出版集团/2019-4,露西娅的父亲死了，母亲进了精神病院，她和姑妈住在别人的车库里。她又一次被学校勒令退学……在新学校，她遇到一个神秘组织，一群可以改变生活的人。
https://img1.doubanio.com/view/subject/m/public/s32281237.jpg,不识字的人,9.5,[匈]雅歌塔·克里斯多夫/上海人民出版社/2019-4,28个虚构故事和1部自传体小说。《恶童日记》作者雅歌塔流亡记忆的隐秘回响，冷峻精简的语言质感，道尽暗涌的记忆与真实的人生痛感。
https://img1.doubanio.com/view/subject/m/public/s32290588.jpg,睡美人,8.2,[美]斯蒂芬·金(StephenKing)/[美]欧文·金(OwenKing)/湖南文艺出版社/2019-5,有一天，全世界的女人都陷入沉睡，醒不过来。只有一位女性——伊维，没有被感染……斯蒂芬•金最新恐怖小说。
https://img3.doubanio.com/view/subject/m/public/s32304855.jpg,呼啸山庄,9.1,【英】爱米丽·勃朗特/浙江文艺出版社/2019-5,呼啸山庄里的三代恩怨。爱米丽·勃朗特名著新版。
https://img1.doubanio.com/view/subject/m/public/s32323469.jpg,苔,8.6,周恺/楚尘文化/中信出版集团/2019-5,一个晚清家族，一出袍哥传奇，一场历史风暴，一曲时代挽歌。在“三千年未有之大变局”下，再现了蜀中各个阶层的人物命运。
https://img1.doubanio.com/view/subject/m/public/s32295228.jpg,推理时钟,,[日]贵志祐介/新星出版社/2019-5-1,贵志祐介的推理短篇小说集，共分为四个短篇，主要描写了侦探榎本与犯罪者的头脑战。本格密室推理佳作，在日本年度推理榜单上屡次上榜。
https://img3.doubanio.com/view/subject/m/public/s32314545.jpg,一座城堡到另一座城堡,9.1,[法]塞利纳/漓江出版社/2019-4,塞利纳在该书中娓娓讲述自己穷困潦倒、备受诅咒的作家和医生生涯。展示了一个阴森可怖、冷酷无情的鬼魅世界，深刻揭露了战争的残酷。
https://img3.doubanio.com/view/subject/m/public/s30021282.jpg,迷宫案,9.2,[荷]高罗佩/上海译文出版社/2019-4,荷兰汉学家高罗佩重写初唐名臣狄仁杰传奇，兼具中国古典文学雅韵与西方侦探小说妙趣。
https://img3.doubanio.com/view/subject/m/public/s32314546.jpg,悠长的告别,9.2,[澳]杰西·布拉凯德/北京联合出版公司/2019-5,全新的生活正要开始，小儿子托比却在自家后院意外溺亡。残酷的悲剧从此笼罩着全家，如影随形。
https://img3.doubanio.com/view/subject/m/public/s32279850.jpg,才不要让你知道,9.4,方小孬/浙江人民美术出版社/2019-4,有些可爱的、无法用言语表述的小心动，在脑中像一幕幕电影片段，有细微的表情变化和谁也听不见的心跳。这部作品希望能用画笔记录这须臾的美好。
https://img1.doubanio.com/view/subject/m/public/s32285169.jpg,本店招牌菜,9.3,[美]斯坦利·艾林/新星出版社/2019-4,美国悬疑大师斯坦利•艾林的十六篇短篇小说。
https://img3.doubanio.com/view/subject/m/public/s32284301.jpg,大树小虫,8.8,池莉/江苏凤凰文艺出版社/2019-5,这一场看似门当户对、一见钟情的自由恋爱，却是众人运筹帷幄、通力配合的精密部署。两个人的结合，两个家族的联姻，延展出三代人近百年的跌宕命运。
https://img1.doubanio.com/view/subject/m/public/s32322848.jpg,格雷厄姆·格林短篇小说全集,目前无人评价,[英]格雷厄姆·格林/外语教学与研究出版社/2019-4,格雷厄姆·格林一生所有的短篇作品，或讽刺乖张，或冷漠怪异，贯穿着格林特有的人性思考与道德拷问，跳动着格林作品特有的节奏感。
https://img3.doubanio.com/view/subject/m/public/s32264873.jpg,地狱之旅,8.7,[英]阿加莎·克里斯蒂/新星出版社/2019-4,近两年，全世界屡次发生知名科学家失踪事件。他们是被绑架了吗？是谁策划了如此声势浩大的失踪案呢？
https://img3.doubanio.com/view/subject/m/public/s32293152.jpg,四月在愚人船,,曾铮/武汉大学出版社/2019-5-1,一部幻想奇特的著作。主人翁四月从无知中诞生，被船上的大学士收养，学习各种知识。然而他发现知识是一个漩涡，将他和这艘船拉进了未知命运的深处。
https://img3.doubanio.com/view/subject/m/public/s32312253.jpg,欧洲教育,评价人数不足,[法]罗曼·加里/人民文学出版社/2019-4,以斯大林格勒战役为背景，讲述了一群在森林中进行反法西斯斗争的游击队员的故事。萨特称其为“最好的抵抗运动小说”。
https://img3.doubanio.com/view/subject/m/public/s32278296.jpg,女鼓手,评价人数不足,[英]约翰·勒卡雷/上海译文出版社/2019-4-1,以色列间谍机构为了刺杀巴勒斯坦恐怖分子哈利勒，招募了一位激进的左翼英国女演员查莉。查莉的良心在两个民族之间摇摆不停，道德观也已被撕扯成碎片。
https://img3.doubanio.com/view/subject/m/public/s32284916.jpg,一滴烈酒,评价人数不足,[美]劳伦斯·布洛克/四川人民出版社/2019-5,马修终于决定戒酒。在戒酒会，他遇到了自己儿时的同伴杰克。不久，杰克受到枪击身亡，一枚子弹打在嘴里，一枚打在双眼之间。
https://img3.doubanio.com/view/subject/m/public/s32295155.jpg,大风向野,8.1,练明乔/中信出版集团/2019-5,169天，3万公里，她孤身一人，抵达了目的地伊斯坦布尔。身边没有任何人。
https://img3.doubanio.com/view/subject/m/public/s32271911.jpg,想象一朵未来的玫瑰,9.2,[葡]费尔南多·佩索阿/中信出版集团/2019-5,葡萄牙国宝级作家、诗人佩索阿以异名“冈波斯”创作的诗卷。
https://img3.doubanio.com/view/subject/m/public/s32316003.jpg,事实,8.5,[瑞典]汉斯·罗斯林/[瑞典]欧拉·罗斯林/[瑞典]安娜·罗斯林·罗朗德/文汇出版社/2019-4,认识情绪化本能，作出相应改变，摆脱非理性的困扰，重新把能量投入建设性的行为中。
https://img3.doubanio.com/view/subject/m/public/s32289590.jpg,艺术与恐惧,9.0,［美］大卫•贝尔斯（DavidBayles）/［美］特德•奥兰德（TedOrland）/中信出版集团/2019-4-15,对创作失败的恐惧必然导致创作的失败吗？导致创作者放弃创作的那些困难的本质是什么？
https://img3.doubanio.com/view/subject/m/public/s32294606.jpg,病毒星球,9.9,[美]卡尔·齐默/理想国|广西师范大学出版社/2019-4,重新理解病毒与人类的关系，认识人类在万物中的位置。
https://img3.doubanio.com/view/subject/m/public/s32317746.jpg,成事,7.2,冯唐/天津人民出版社/2019-5,冯唐首部管理著作。以麦肯锡的方法论，解读曾国藩的成事学。
https://img3.doubanio.com/view/subject/m/public/s32281256.jpg,柯布西耶：直角之诗,8.9,[法]勒•柯布西耶/浦睿文化·湖南文艺出版社/2019-5,作品包括19幅石版画和相应数量的诗歌。通过诗与画的结合，阐述了柯布西耶的建筑思想，同时也是他的个性的展露，可以说是这位大师最完整的世界观的陈述。
https://img3.doubanio.com/view/subject/m/public/s32278381.jpg,谈话录,8.8,王安忆/张新颖/译林出版社/2019-4,王安忆、张新颖谈话录。七次旗鼓相当的谈话，呈现文学创作的纯粹之美。
https://img1.doubanio.com/view/subject/m/public/s32304678.jpg,保守主义思想,评价人数不足,[美]拉塞尔·柯克/江苏凤凰文艺出版社/2019-5,一本有着历史叙事面目，但旨在凸显保守主义思想实质的作品。探讨了保守主义的各种观念，并查验它们在当时及后来混乱和剧变时代的有效性。
https://img1.doubanio.com/view/subject/m/public/s32302027.jpg,观念的力量,9.8,[英]以赛亚·伯林(IsaiahBerlin)/译林出版社/2019-4-1,书斋里生长起来的观念，为何拥有改变世界的力量？收录伯林此前不曾集结成书的22篇文章。
https://img1.doubanio.com/view/subject/m/public/s32314738.jpg,那些活了很久很久的树,9.2,菲奥娜·斯塔福德/未读·探索家·北京联合出版公司/2019-5,书中介绍了17种常见的树木。从文化、科学、医学、日常用途等方面揭示了这些树在西方文明中的历史流变、文化意义和重要影响。
https://img3.doubanio.com/view/subject/m/public/s32299536.jpg,诸葛武侯,评价人数不足,[日]内藤湖南/江苏人民出版社/2019-4,“东洋史巨擘”内藤湖南作品，观点新颖，考证严谨，显示了作者渊博的学识和深厚的学术功底。从这本书开始，内藤湖南正式转入中国学研究。
https://img3.doubanio.com/view/subject/m/public/s32305312.jpg,美国陷阱,8.7,[法]弗雷德里克·皮耶鲁齐/[法]马修·阿伦/中信出版社/2019-5,法国阿尔斯通集团锅炉部全球负责人皮耶鲁齐以身陷囹圄的亲身经历披露了阿尔斯通被美国企业“强制”收购，以及美国利用《反海外腐败法》打击美国企业竞争对手的内幕。
https://img3.doubanio.com/view/subject/m/public/s32294085.jpg,自由的声音,评价人数不足,[法]米歇尔·维诺克/文汇出版社/2019-5,大革命之后，统治法国数百年的波旁王朝退出历史舞台，迎来的却是法国近现代最动荡不安的世纪。美第奇奖、龚古尔传记奖得主鸿篇巨制，60万字讲述法兰西的“光荣与梦想”。
https://img1.doubanio.com/view/subject/m/public/s32288967.jpg,大英博物馆中国简史,8.3,【英】霍吉淑/读者出版社/2019-5,由大英博物馆中国馆馆长、汉学家霍吉淑撰写。有别于一般的宏观讲述，以物为线，从石器时代到现代中国，诠释数千年的文明脉络。
https://img1.doubanio.com/view/subject/m/public/s32294498.jpg,概念的历史分量,评价人数不足,方维规/北京大学出版社/2019-4-5,用“概念史”方法进行详实的知识考古，以结构性的目光来理解近代历史演进的内在脉络。
https://img1.doubanio.com/view/subject/m/public/s32277009.jpg,房奴,评价人数不足,[美]戴维•戴恩/上海译文出版社/2019-5,金融危机引发的止赎危机是近一个世纪来对美国中产家庭财富伤害最大的一次危机。三个美国房奴决定揭开这个谜团，厘清华尔街的罪行。
https://img3.doubanio.com/view/subject/m/public/s32277375.jpg,书写真实的奇迹,9.7,闵雪飞等/商务印书馆/2019-4,本书辑录了国内青年学者近年来为葡萄牙语文学所写的普及性文章，共计30余篇，力图在追求前沿性、学术性的同时兼顾趣味性。
https://img3.doubanio.com/view/subject/m/public/s29986124.jpg,圣经与利剑,8.5,[美]巴巴拉·塔奇曼/上海三联书店/2019-4,“人类为巴勒斯坦流的血，比为地球上任何地方流的都要多”。在巴勒斯坦犹太人复国这一历史事件中，英国的支持起到了关键作用。
https://img1.doubanio.com/view/subject/m/public/s32260819.jpg,数学简史：确定性的消失,,[美]莫里斯·克莱因/中信出版集团/2019-3-31,本书探讨数千年来数学在直觉、逻辑、应用之间穿梭往复的炫目旅程，直到当代数学的现状：数学与确定性（逻辑，严密性，完备性）渐行渐远。
https://img1.doubanio.com/view/subject/m/public/s32313778.jpg,《复仇者联盟》与哲学,6.8,[美]马克·D.怀特主编/南京大学出版社/2019-4,运用哲学大家们的代表性理论，梳理并分析了复仇者联盟遇到的以及自身含有的各种问题。