Python爬取小说网站
感觉好像蛮久没用更新博客了，这不准备成人高考了嘛，作为中专毕业的我来说，觉得大专证还是会有一点用处滴，所以花了点时间看书，可惜每次看书，看着看着就找周先生聊天去了，哎，不知有没有大佬教下我怎么提高看书的兴趣，鄙人感激不尽…
闲话就说到这里，今天的目标：新笔趣阁,然后我们进入搜索页面：http://www.xbiquge.la/modules/article/waps.php
今天爬点小说，说到看书，我也就在看小说的时候不瞌睡，哈哈。。
单纯的爬小说其实蛮简单的，不过今天咱们给自己增加点难度，使用requests的POST来抓取小说
requests的GET,就是字面意思了，而POST也是字面意思，与GET稍微不一样的是需要携带数据，而数据在哪呢，在网站里面，比如搜索一个本人比较喜欢的小说：间客
右下角的Form Data里面的数据就是我们要携带给requests一起解析的：
import requests
import parsel
import re
def get_url(headers,keyword):
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.83 Safari/537.36',
}
url = 'http://www.xbiquge.la/modules/article/waps.php'
data = {
'searchkey': keyword,
}
res = requests.post(url,data=data,headers=headers)
res.encoding = 'utf-8'
sreach = parsel.Selector(res.text)
n = 0
href = []
for each in sreach.xpath('//div[@id="content"]/form/table/tr')[1:]:
href.append(each.xpath('./td/a/@href').get()) # 书籍地址
title = each.xpath('./td/a/text()').get() # 书籍名称
author= each.xpath('./td[3]/text()').get() # 作者
n += 1
print(str(n) +": "+ title,author)
if n == 4:
break
if bool(href) == False: # 判断是否有该书籍，如果没有，则返回main继续从头开始
print(f"未找到{keyword},请重新输入!!")
main()
while True:
choice = int(input("请按序号选择你要下载的书籍："))
if choice == 1:
return href[0]
elif choice == 2:
return href[1]
elif choice == 3:
return href[2]
elif choice == 4:
return href[3]
else:
print("输入错误！请重新输入!")
def main():
keyword = input("请输入您要查找的书籍/作者名称(最多显示四本)：")
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.83 Safari/537.36',
}
get_url(headers,keyword)
if __name__ == "__main__":
main()
结果如下：
多增加了一些功能，可以查找书籍或者作者，最多显示四本，所以请尽量把书籍名称写全来，当然你也可以改，把if == 4 的这个4 改成你想要显示的书籍数量即可，当然后面的判断也得增加一点
既然我们拿到这些东西，那后面的其实就简单了，直接上代码：
import requests
import parsel
import re
def get_url(headers,keyword):
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.83 Safari/537.36',
}
url = 'http://www.xbiquge.la/modules/article/waps.php'
data = {
'searchkey': keyword,
}
res = requests.post(url,data=data,headers=headers)
res.encoding = 'utf-8'
sreach = parsel.Selector(res.text)
n = 0
href = []
for each in sreach.xpath('//div[@id="content"]/form/table/tr')[1:]:
href.append(each.xpath('./td/a/@href').get()) # 书籍地址
title = each.xpath('./td/a/text()').get() # 书籍名称
author= each.xpath('./td[3]/text()').get() # 作者
n += 1
print(str(n) +": "+ title,author)
if n == 4:
break
if bool(href) == False: # 判断是否有该书籍，如果没有，则返回main继续从头开始
print(f"未找到{keyword},请重新输入!!")
main()
while True:
choice = int(input("请按序号选择你要下载的书籍："))
if choice == 1:
return href[0]
elif choice == 2:
return href[1]
elif choice == 3:
return href[2]
elif choice == 4:
return href[3]
else:
print("输入错误！请重新输入!")
def get_list(url,headers):
res = requests.get(url,headers=headers)
res.encoding = "utf-8"
list_url = parsel.Selector(res.text)
book_name = list_url.xpath('//div[@id="info"]/h1/text()').get() # 书籍名称
print("开始下载：",book_name)
for lis in list_url.xpath('//div[@id="list"]/dl/dd'):
list_url = 'http://www.xbiquge.la' + lis.xpath('./a/@href').get() # 内容页 URL
chap = lis.xpath('./a/text()').get() # 章节标题
print(chap)
content = requests.get(list_url,headers=headers)
content.encoding = "utf-8"
content_url = parsel.Selector(content.text)
con_text = ""
all_content = content_url.xpath('//div[@id="content"]/text()').getall()
for ac in all_content:
re.sub("[\xa0]"," ",ac) # 替换文本里面的乱码
con_text += ac
# print(con_text)
with open("./images/" + book_name+".txt","a+",encoding="utf-8") as f:
f.write(chap)
f.write("\n")
f.write(con_text)
f.write('\n')
def main():
keyword = input("请输入您要查找的书籍/作者名称(最多显示四本)：")
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.83 Safari/537.36',
}
url = get_url(headers,keyword)
get_list(url,headers)
if __name__ == "__main__":
main()
搞定！欢迎各位大佬一起交流，我要去看书啦！
2020/10/25 修正！！
突然想到了一个点子，新加进来，代码也就改了一点点，增加了一个进度条，这样就好看多了，新代码：
import requests
import parsel
import re
from tqdm import tqdm
def get_url(headers,keyword):
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.83 Safari/537.36',
}
url = 'http://www.xbiquge.la/modules/article/waps.php'
data = {
'searchkey': keyword,
}
res = requests.post(url,data=data,headers=headers)
res.encoding = 'utf-8'
sreach = parsel.Selector(res.text)
n = 0
href = []
for each in sreach.xpath('//div[@id="content"]/form/table/tr')[1:]:
href.append(each.xpath('./td/a/@href').get()) # 书籍地址
title = each.xpath('./td/a/text()').get() # 书籍名称
author= each.xpath('./td[3]/text()').get() # 作者
n += 1
print(str(n) +": "+ title,author)
if n == 4:
break
if bool(href) == False: # 判断是否有该书籍，如果没有，则返回main继续从头开始
print(f"未找到{keyword},请重新输入!!")
main()
while True:
choice = int(input("请按序号选择你要下载的书籍( 按 0 退出 )："))
if choice == 1:
return href[0]
elif choice == 2:
return href[1]
elif choice == 3:
return href[2]
elif choice == 4:
return href[3]
elif choice == 0:
exit()
else:
print("输入错误！请重新输入!")
def get_list(url,headers):
res = requests.get(url,headers=headers)
res.encoding = "utf-8"
list_url = parsel.Selector(res.text)
book_name = list_url.xpath('//div[@id="info"]/h1/text()').get() # 书籍名称
books = "开始下载："+ book_name
for lis in tqdm(list_url.xpath('//div[@id="list"]/dl/dd'), desc=books, ncols=100,unit="MB"):
list_url = 'http://www.xbiquge.la' + lis.xpath('./a/@href').get() # 内容页 URL
chap = lis.xpath('./a/text()').get() # 章节标题
# print(chap)
content = requests.get(list_url,headers=headers)
content.encoding = "utf-8"
content_url = parsel.Selector(content.text)
con_text = ""
all_content = content_url.xpath('//div[@id="content"]/text()').getall()
for ac in all_content:
re.sub("[\xa0]"," ",ac) # 替换文本里面的乱码
con_text += ac
# print(con_text)
with open("./images/" + book_name+".txt","a+",encoding="utf-8") as f:
f.write(chap)
f.write("\n")
f.write(con_text)
f.write('\n')
def main():
keyword = input("请输入您要查找的书籍/作者名称(最多显示四本)：")
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.83 Safari/537.36',
}
url = get_url(headers,keyword)
get_list(url,headers)
if __name__ == "__main__":
main()
看终端显示：
有要下载的书籍名称，还有下载进度，以及章节数和大概所需要的时间，基本都有了，这就是最终版了，不改啦！^ _ ^