闲的无聊,现在没得什么好剧追(你们或许可以给我推荐推荐)
朋友都在看小说,那我就来用Python搞一个小说下载器吧
顺便打包一下
爬虫基本四个步骤:
采集一章小说内容
https://***不屏蔽不给过.com/book/5613/4217210.html
获取数据, 获取网页源代码
解析数据, 提取我们想要的数据内容
小说章节名
小说内容
保存数据, 把小说内容本地文件 txt
源码.点击领取即可
import requests
import parsel
import re
import prettytable as pt
from tqdm import tqdm
headers = {
# user-agent 用户代理 表示浏览器基本身份信息
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.0.0 Safari/537.36'
}
def get_response(html_url):
python学习交流Q群:309488165 ### 源码领取
自定义函数:
def 关键字 定义函数
get_response 函数名 自定义
html_url 形式参数
:param html_url: 给个网址就可以了
:return:response 返回响应对象
模拟浏览器对于url地址发送请求
headers 请求头 --> 可以直接复制粘贴
"""
# 发送请求
response = requests.get(url=html_url, headers=headers)
# return 关键字 返回 response 响应对象
# 响应对象 表示请求成功
return response
def get_novel_info(novel_url):
"""
获取小说名字 / 小说章节url
:param novel_url: 小说目录页url地址
:return:
"""
# 发送请求, 获取网页源代码
html_data = get_response(html_url=novel_url).text
# 把获取下来 html字符串数据 , 转成可解析对象
selector = parsel.Selector(html_data)
# 提取小说名字
name = selector.css('.novel_info_title h1::text').get()
# 提取小说章节url attr 属性选择器, 提取标签里面属性内容
link_list = selector.css('.chapter_list a::attr(href)').getall()
# https://ssbiqu.com/book/5613/4217210.html 列表推导式
link_list = ['https://ssbiqu.com' + i for i in link_list]
return name, link_list
def get_content(html_url):
获取小说内容函数
:param html_url: 形参 传入小说章节url地址
:return: 章节名 / 小说内容
"""
# 调用前面定义好的发送请求函数
response = get_response(html_url=html_url)
# 获取网页源代码, html字符串数据
# print(response.text)
- 根据标签属性提取数据内容
1. 小说章节名字
.style_h1 定位标签
get() 获取第一个标签内容 相当于获取一个, 返回字符串
getall() 获取所有标签内容, 返回列表
html字符串数据
selector = parsel.Selector(response.text)
title = selector.css('.style_h1::text').get()
content_list = selector.css('#article>p::text').getall()
所有要把 列表转成字符串数据类型
列表转成字符串数据类型?
for 遍历提取列表里面元素
str 强制转换数据类型
str.join() 把列表合并为字符串
'\n'.join(content_list) 以换行符, 把列表里面元素一个一个合并起来变成一个字符串
"""
content = '\n'.join(content_list)
return title, content
def save(name, title, content):
"""
保存函数
:param title: 小说章节名
:param content: 小说内容
:return:
"""
# # replace 字符串替换, 把 / 替换成 -
# title = title.replace('/', '-') 保存 a 追加 w 写入会覆盖
with open(name + '.txt', mode='a', encoding='utf-8') as f:
f.write(title)
f.write('\n')
f.write(content)
f.write('\n')
def search(word):
"""
搜索函数
:param word: 小说名
:return:
"""
search_url = 'https://ssbiqu.com/search/'
data = {
'searchkey': word
}
search_data = requests.post(url=search_url, data=data, headers=headers).text
novel_id_list = re.findall('', search_data)
name_list = re.findall('(.*?)(.*?)(.*?)
', search_data)
name_list = [''.join(j) for j in name_list]
# 仅匹配中文
writer_list = re.findall(' .*?(.*?) ', search_data)
writer_list = [z.replace('', '').replace('', '') for z in writer_list]
tb = pt.PrettyTable()
tb.field_names = ['序号', '书名', '作者', '书ID']
page = 0
novel_info_list = []
for novel_id, name, writer in zip(novel_id_list, name_list, writer_list):
dit = {
'书名': name,
'作者': writer,
'书ID': novel_id,
'信息': '系统课程报名加婧琪老师微信: python1018'
}
print(dit)
novel_info_list.append(dit)
tb.add_row([page, name, writer, novel_id])
page += 1
print(tb)
num = input('请输入你想要下载小说序号: ')
novel = novel_info_list[int(num)]['书ID']
return novel
ef main(word):
"""
主函数
:return:
"""
novel_id = search(word)
# 小说目录页 https://ssbiqu.com/book/5613/
url = f'https://ssbiqu.com/book/{novel_id}/'
# 获取小说名字
name, link_list = get_novel_info(novel_url=url)
# for循环遍历 提取内容
for link in tqdm(link_list):
# 获取小说内容
title, content = get_content(html_url=link)
save(name, title, content)
今天的分享到这里就结束了
顺便给大家推荐一些Python视频教程,希望对大家有所帮助:
Python零基础教学合集
对文章有问题的,或者有其他关于python的问题,可以在评论区留言或者私信我哦
觉得我分享的文章不错的话,可以关注一下我,或者给文章点赞(/≧▽≦)/