爬取豆瓣新书信息,保存到本地

疫情宅家无所事事,刷剧/微博好无聊,拿起枕边两本小说,突然发现都看了三遍,苦于书荒,于是爬取豆瓣网新书,看有没有自己感兴趣的书籍。该项目主要功能是获取豆瓣网新书信息,包括链接,书名,作者,出版社,出版日期等信息,以文本形式保存到本地。
首先打开网页https://book.douban.com/latest?icn=index-latestbook-all,分析页面内容,发现所有新书都在li标签下,最近复习了re模块,所以决定使用正则来提取数书籍信息。爬取豆瓣新书信息,保存到本地_第1张图片首先发送请求,获取网页内容

def get_page_content(url):
    url =  'https://book.douban.com/latest?icn=index-latestbook-all'
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.97 Safari/537.36'
    }
    try:
        response = requests.get(url,headers=headers)
        return response.text
    except RequestException:
        return None

分析网页内容,使用正则提取书籍信息

def

你可能感兴趣的:(爬取豆瓣新书信息,保存到本地)