Python爬虫 爬取一本小说
需要用到requests和re etree这三个库
requests需要安装好环境
import requests
import re
from lxml import etree
def GetsourcePage(): #定义需要爬取入口
url = "自行填写" #这里填你需要下载的小说地址
headers = {
'user-Agent':'自行填写'
}
#header需要从网址信息中找到user-Agent那一行信息 复制过来即可
res = requests.get(url=url,headers=headers)
res.encoding='utf-8'
text=res.text
res.close()
return text
def Get_title_link(text): #获取文章的链接和标题
find_title_links=re.compile("(.*?) ",re.S) #这里用到了正则表达，前面是文章的内容链接地址，后面是标题
title_links = re.finditer(find_title_links,text)
for i in title_links:
Get_content(i.groups())#传递参数
#print(i.groups())
print(i.groups()[1]+"爬取成功,已下载到giantfox文本当中")
def Get_content(LinkAndTitle):
url = f"https://www.ibiquge.la//{LinkAndTitle[0]}"
headers = {
'user-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36 SLBrowser/7.0.0.12151 SLBChan/103'
}
res = requests.get(url=url,headers=headers)
res.encoding='utf-8'
tree = etree.HTML(res.text)
#print(tree)
content = tree.xpath('//*[@id="content"]/text()') #用etree解析
Content_save(content,LinkAndTitle[1])#把文章的内容和标题传到下一个函数
def Content_save(content,title): #下载文章
with open("./giantfox.txt",mode='a+',encoding='utf-8') as fp:
fp.write(title)
fp.write('\n')
for i in content:
fp.write(i.strip())
fp.write('\n')
fp.write('\n')
if __name__ == '__main__':
text = GetsourcePage()
Get_title_link(text)
Get_content()
附：如果需要下载其他的小说 修改网址和user-Agent接口即可