1. 功能
- 爬取豆瓣每日书单信息
- 处理爬取后的信息，制作成makedown文件，方便浏览
2. 原理
1、requests获取网络信息
2、BeautifulSoup解析网页
3、生成makedown文件
3. 源码
#!/usr/bin/env python3
# -*- coding:utf-8 -*-
from bs4 import BeautifulSoup
import requests
import time
import datetime
r = requests.get('https://book.douban.com')
html=r.text
soup = BeautifulSoup(html, 'html.parser')
items = []
global_nav_items = soup.find('div', class_='global-nav-items')
for tag in global_nav_items.find_all('a'):
items.append(tag.string)
print(items)
class Info(object):
def __init__(self, title, img, link, author, year, pulisher, abstract):
self.title = title
self.img = img
self.link = link
self.author = author
self.year = year
self.publisher = publisher
self.abstract = abstract
new_book_html = soup.find('ul', class_='list-col list-col5 list-express slide-item')
book_info_list = []
for tag in new_book_html.find_all('li'):
info_html = tag.find('div', class_='info')
info_title = info_html.find('a')
title = info_title.string.strip()
cover = tag.find('div', class_='cover')
img = cover.find('img')['src'].strip()
href = info_title['href'].strip()
author = info_html.find(class_='author').string.strip()
year = info_html.find(class_='year').string.strip()
publisher = info_html.find(class_='publisher').string.strip()
abstract = info_html.find(class_='abstract').string.strip()
book = Info(title, img, href, author, year, publisher, abstract)
book_info_list.append(book)
print('推荐%s本新书' % len(book_info_list))
for book in book_info_list:
print('*'*100)
print(book.title)
print(book.img)
print(book.link)
print(book.author)
print(book.year)
print(book.publisher)
print(book.abstract)
def save():
today = datetime.datetime.fromtimestamp(time.time()).strftime('%Y-%m-%d')
file_name = '豆瓣'+today+'推荐书单'
with open(file_name+'.md', 'w') as file:
file.write('#'+file_name)
file.write('\\n---')
with open(file_name+'.md', 'a') as file:
num = 1
for book in book_info_list:
file.write('\\n\\n')
file.write('## ' + str(num) +'. ' + book.title)
file.write('\\n')
file.write('')
file.write('\\n\\n')
file.write('简介\\n')
file.write('---\\n')
file.write(book.abstract)
file.write('\\n\\n')
file.write('作者: '+book.author+'\\n\\n')
file.write('出版时间: '+book.year+'\\n\\n')
file.write('出版社: '+book.publisher+'\\n\\n')
file.write('[更多...]('+book.link+')')
num = num + 1
if __name__ == '__main__':
save()
4. 生成的md文件
#豆瓣2016-11-02推荐书单
---
## 1. 以蓄满泪水的双眼为耳
简介
---
本书是当代著名作家、中国作协主席铁凝女士近十年来的散文、随笔、演讲、访谈的自选集，共31篇文章，都是作者自2007年担任作协主席以来的重要作品。
大量篇幅，如她与杨绛先生深情交往的细节、与诺贝尔文学奖得主大江健三郎先生的文学对话等，都属首次发表。
书中既刻画了杨绛、马识途、汪曾祺、贾大山、张洁、井上靖、大江健三郎、诗琳通公主等文学家，也精选了作者...
作者: 铁凝
出版时间: 2016-9-1
出版社: 生活•读书•新知三联书店 生活书店出版有限公司
[更多...](https://book.douban.com/subject/26864818/?icn=index-editionrecommend)
## 2. 哈利·波特与被诅咒的孩子
简介
---
时隔九年,哈利•波特带着他的魔法世界重磅回归！
《哈利•波特与被诅咒的孩子》打破2016年度预售纪录，北美地区两日卖出2,000,000册！
六大看点
1.哈利的小儿子阿不思被分院帽分进了斯莱特林，他会适应那里的生活吗？
2.德拉科•马尔福的儿子斯科皮竟然与阿不思成为了最好的朋友，这是真正的友情还是另有预谋？
3．伏地魔的女儿出现了……她将履行怎样的使命？她是否会成...
作者: 约翰·蒂法尼 / 杰克·索恩 / J.K.罗琳
出版时间: 2016-10
出版社: 人民文学出版社
[更多...](https://book.douban.com/subject/26871656/?icn=index-editionrecommend)
## 3. 视觉思维
简介
---
本书是使用代表事物、思维、概念等含义的象征图像与简单的文字，整理思维、传递情感、表达心境、寻找乐趣的思维训练图书。书中讲述了视觉思维整理法的诸多构成要素，并详细列举了用途与示例。可着力培养用图形思考和整理习惯，可极为迅速捕获创意点子与灵感，可更加轻松理解复杂难懂的知识。让你在讲话或提出自我主张的时候更有说服力，更容易激起听众的共鸣。
作者: [韩] 郑珍好
出版时间: 2016-10
出版社: 中国铁道出版社
[更多...](https://book.douban.com/subject/26905838/?icn=index-editionrecommend)
## 4. 人类的演化
简介
---
是什么让我们成为人类？
我们怎么发展出了语言、思维和文化？
为什么我们存活下来，而其他的人科物种却灭绝了？
人类演化的故事，比任何其他故事都更让我们着迷。我们的好奇心永不满足，总是不断在问：我们是谁？来自哪里？本书对人类演化历程提出了全新的疑问，也给出了崭新的研究方式和回答。
“这是一个侦查的过程，呈现在我们面前的，是一个由考古学记录组成的犯罪现...
作者: [英] 罗宾·顿巴
出版时间: 2016-8-1
出版社: 上海文艺出版社
[更多...](https://book.douban.com/subject/26834220/?icn=index-editionrecommend)
## 5. 故宫日历（2017年）
简介
---
作者: 陈丽华 / 冯贺军 / 李湜
出版时间: 2016-9-10
出版社: 故宫出版社
[更多...](https://book.douban.com/subject/26840888/?icn=index-editionrecommend)
## 6. 余生，请多指教
简介
---
曾经以为，自己这辈子都等不到了——世界这么大，我又走得这么慢，要是遇不到良人要怎么办？
早过了“全球三十几亿男人，中国七亿男人，天涯何处无芳草”的猖狂岁月，越来越清楚，循规蹈矩的生活中，我们能熟悉进而深交的异性实在太有限了，有限到我都做好了“接受他人的牵线，找个适合的男人慢慢煨熟，再平淡无奇地进入婚姻”的准备，却在生命意外的拐弯处迎来自己的...
作者: 柏林石匠
出版时间: 2016-10
出版社: 百花洲文艺出版社
[更多...](https://book.douban.com/subject/26872990/?icn=index-latestbook-subject)
## 7. 大师们的写作课：好文笔是读出来的
简介
---
好文笔是读出来的？
不是所有的人都真的会读，但真正会读的人一定会写！
《大师们的写作课》让你通过读就能迅速地提升写作能力，从48位文学大师的笔下，找到关于写作的密码——
【内容篇】从“颜色”到“情色”，你的笔下也可以写出10万种活色生香；
【技能篇】从“标点”到“收束”，为你深度解码大师们的写作密码；
【拓展篇】从传统文学、外国语言、前人新秀、自媒体...
作者: 舒明月
出版时间: 2016-10
出版社: 江苏凤凰文艺出版社
[更多...](https://book.douban.com/subject/26890188/?icn=index-latestbook-subject)
## 8. 千门八将1
简介
---
江湖未死，但很多规矩却已远去。
传承几千年的外八门，进入当代社会，无不面临着“变则形亡，守则身亡”的困境。
当代千门门主高阳，坚守“平衡江湖”的门派宗旨，希望重拾江湖规矩。
然千门有“八将少五不做局”的规矩，千门八将，各司其责，八将相依相靠才能做出完美的千局。当代千门人丁凋零，连八将尚未凑齐，无法发挥千局的力量。仅靠千术，千门无法折服外八门。
千...
作者: 高阳
出版时间: 2016-9-1
出版社: 江苏凤凰文艺出版社
[更多...](https://book.douban.com/subject/26890239/?icn=index-latestbook-subject)
## 9. 大脑使用指南
简介
---
人为什么会做梦？为什么眼见的不一定为实？为什么国民男神一换再换？大脑为什么是最大的性器官？为什么一孕傻三年？
你与你的大脑之间的关系也是个细思极恐的问题。
到底是你在控制大脑，还是大脑在控制你呢？
无论你是谁，从哪里来，又往哪里去，无论你在不在乎大脑的存在，你与你的大脑都密不可分。你的所有决定、所有情感、所有记忆，都在大脑中生成又在大脑中消失。...
作者: 赵思家
出版时间: 2016-10
出版社: 湖南科技出版社
[更多...](https://book.douban.com/subject/26876074/?icn=index-latestbook-subject)
## 10. 香蕉的低语
简介
---
一个很深很深的故事。每个人都在心灵深处流浪。
* * *
“如果你在八月经过一片香蕉地，你可能会听到香蕉的低语：哧哧——哧哧——哧哧——”
父亲留给菲丽宾娜一沓信，告诉她黎巴嫩散发着橙花的香气，还有香蕉的低语。为了真正理解这些信，菲丽宾娜只身一人来到黎巴嫩，寻找父母亲的足迹。
与此同时，丹妮丝，一个在牛津大学读博的土耳其女孩厌倦了西方。她决定前往黎巴嫩...
作者: [土耳其] 伊切·泰玛尔库兰
出版时间: 2016-10-15
出版社: 北京联合出版公司
[更多...](https://book.douban.com/subject/26864850/?icn=index-latestbook-subject)
md_figure1
md_figure2