真棒啊!Python 可以爬取大量免费小说!

大家好!今天给你们带来了用requests编写的网页小说爬取工具。可以轻松爬取小说名和下载链接,仅供学习!

因反爬虫策略和网页会经常调整,可能会出现代码失灵的情况,如遇到问题,可以文末找我们交流。

代码案例:

import requests
from bs4 import BeautifulSoup
import urllib.parse

def get_novels(url, page_count):
    #发送GET请求获取页面内容
    response = requests.get(url)
    content = response.content.decode('gbk')

    #使用BeautifulSoup解析HTML
    soup = BeautifulSoup(content, 'html.parser')

    #查找所有符合条件的元素
    elements = soup.select('.pldal_r1_bt a')

    #使用一个集合保存已经处理过的链接和小说名
    processed_links = set()

    #遍历输出文本和链接
    for element in elements:
        # 获取小说名
        novel_name = element.text.strip()

        #获取li中a标签的链接
        href = element['href']
        if '/book/' not in href:
            continue
        
        link_response = requests.get(urllib.parse.urljoin(url, href))
        link_content = link_response.content.decode('gbk')
        link_soup = BeautifulSoup(link_content, 'html.parser')
        
        #获取下载链接
        #download_element = link_soup.select_one('.dl_link_bd li a')
        if download_element:
            download_link = urllib.parse.urljoin(url, download_element['href'])
        else:
            download_element = link_soup.select_one('.dl_link_bd div a')
            if download_element:
                download_link = urllib.parse.urljoin(url, download_element['href'])
            else:
                download_link = "链接未找到"
            
        #判断链接和小说名是否已经处理过
        if (novel_name, download_link) in processed_links:
            continue
        
        #将链接和小说名添加到已处理集合中
        processed_links.add((novel_name, download_link))

        print(f"小说名:{novel_name}")
        print(f"下载链接:{download_link}")
    #获取下一页链接
    #next_page_link = None
    #next_page_element = soup.find('a', string='下一页')
    #if next_page_element:
        #next_page_link = urllib.parse.urljoin(url, next_page_element['href'])
    
    #继续爬取后续页数的小说名和链接
    if page_count > 1 and next_page_link:
        get_novels(next_page_link, page_count - 1)

#爬取页数
page_count = 2
#链接设置
start_url = 'http://www.12z.cn/book/dushiyule/'
#开始
get_novels(start_url, page_count)
输出
小说名:《从笑星走向巨星》(校对版全本)
下载链接:http://www.12z.cn/plus/download.php?open=2&id=137&uhash=174cb03a1a79050f076804ab
小说名:[都市娱乐]
下载链接:链接未找到
小说名:《地府重临人间》(校对版全本)
下载链接:http://www.12z.cn/plus/download.php?open=2&id=126&uhash=2e3d1b01e4b29f7ccd7565e4
小说名:《神级巫医在都市》(校对版全本)
下载链接:http://www.12z.cn/plus/download.php?open=2&id=125&uhash=98ae6a3b72e9d485b64e5326
小说名:《终极教官》(校对版全本)
下载链接:http://www.12z.cn/plus/download.php?open=2&id=121&uhash=b48cdc8554488e739f5af8b5
小说名:《仙界网络直播间》(校对版全本)
下载链接:http://www.12z.cn/plus/download.php?open=2&id=120&uhash=09061038f69398d1b83551e5
小说名:《老婆是武林盟主》(校对版全本)
下载链接:http://www.12z.cn/plus/download.php?open=2&id=279&uhash=0fcf6a3d0800257139dc1fff
小说名:《夜的命名术》(校对版全本)
下载链接:http://www.12z.cn/plus/download.php?open=2&id=6902&uhash=593f27fca4d78e4040e5b6b3
小说名:《重生2011》(校对版全本)
下载链接:http://www.12z.cn/plus/download.php?open=2&id=6900&uhash=fdf80b6d9412f6d720280622
小说名:《我已不做大佬好多年》(校对版全本)
下载链接:http://www.12z.cn/plus/download.php?open=2&id=6896&uhash=3bf78814f52f8f39b723cd9e
小说名:[都市娱乐]
下载链接:链接未找到
小说名:《重生之似水流年》(校对版全本)
下载链接:http://www.12z.cn/plus/download.php?open=2&id=6880&uhash=48162b5465d2f63976c51a5d
小说名:《重生之金融巨头》(校对版全本)
下载链接:http://www.12z.cn/plus/download.php?open=2&id=6877&uhash=9aac2f935cb1b980656add7f
小说名:《平常人类的平凡生活》(校对版全本)
下载链接:http://www.12z.cn/plus/download.php?open=2&id=6876&uhash=7eff5a03a6cc70ffac282042
小说名:《从冒牌大学开始》(校对版全本)
下载链接:http://www.12z.cn/plus/download.php?open=2&id=6862&uhash=5fd229aa605fad0dfddd4f39
小说名:《寻宝从英伦开始》(校对版全本)
下载链接:http://www.12z.cn/plus/download.php?open=2&id=6851&uhash=52e3a3c78a2f87ec225a1af9
小说名:《无敌从仙尊奶爸开始》(校对版全本)
下载链接:http://www.12z.cn/plus/download.php?open=2&id=6840&uhash=1deaeef764535f9403b8f8e7
小说名:《超级农业强国》(校对版全本)
下载链接:http://www.12z.cn/plus/download.php?open=2&id=6837&uhash=04df41735193ff7dff5ecf45

技术交流

技术要学会分享、交流,不建议闭门造车。一个人可以走的很快、一堆人可以走的更远。

技术交流、资料干货、数据&源码,均可加交流群获取,群友已超过2000人,添加时最好的备注方式为:来源+兴趣方向,方便找到志同道合的朋友。

方式①、微信搜索公众号:Python学习与数据挖掘,后台回复: 交流
方式②、添加微信号:dkl88194,备注:来自CSDN +交流

毕设/大作业系列

  • 毕设/大作业:基于Python+Flask+MySQL的豆瓣电影可视化系统
  • 毕设/大作业:搭建基于 Python+Flask+MySQL 的学生培养计划管理系统(附源码)
  • 毕设/大作业:一款基于 Python+flask 的态势感知系统(附完整源码)
  • 毕设/大作业:基于 Python 的 Flask 框架开发的在线电影网站系统(附完整源码)
  • 毕设/大作业:基于 Echarts + Python Flask 动态实时大屏轻松可以实现
  • 毕设/大作业:基于 Python+Django 构建智能互动拍照系统
  • 毕设/大作业:基于 Python+Flask+SQLite 的网易云音乐评论情感分析系统
  • 毕设/大作业:基于 Python 和Surprise库,新手轻松搭建推荐系统
  • 毕设/大作业:基于 Python+Django+MySQL 数据库的租房数据可视化系统

你可能感兴趣的:(学习笔记,python,开发语言,web,开发)