入门级小说爬虫

开发环境

python: 3.7.2

第三方库：
requests: 2.21.0
lxml
安装：
pip install requests
pip install lxml
使用工具：
jupyter notebook

Talk is cheap. Show me the code.

先贴代码，废话放后面

'''
爬虫三步走：
1.请求
2.解析
3.保存
'''
'''
请求url: base_url~~last_url
base_url: 'https://www.biquges.com/9_9331/5966590.html'
last_url: 'https://www.biquges.com/9_9331/5967289.html'
'''
import requests
from lxml import etree
from time import sleep
base_url = 'https://www.biquges.com/9_9331/596{}.html'
def get_HTML(url):
    resp = requests.get(url)
    resp.encoding = resp.apparent_encoding
    html = etree.HTML(resp.text)
    title = html.xpath('//*[@id="wrapper"]/div[@class="content_read"]/div/div[@class="bookname"]/h1/text()')[0]
    content = html.xpath('//*[@id="content"]/text()')
    print(title)
    return title,content

def save_novel(title,content):
    with open('./斗罗大陆/'+title+ '.txt', 'wb' ) as file:
        file.write(title.encode('utf-8'))
        for item in content:
            file.write(item.encode('utf-8'))
    file.close()

def main():
   for i in range(6590,7289+1,1):
        url = base_url.format(i)
        title,content = get_HTML(url)
        save_novel(title,content)
        sleep(0.3)
    
if __name__=='__main__':
    main()

爬虫三步走：

1.请求网页
2.分析代码
3.保存数据

1.请求网页& 2.分析代码
把前两步放一起了
请求网页的方式有很多种，为了方便，我就用requests了
解析网页使用了xPath，简单、快速

 title = html.xpath('//*[@id="wrapper"]/div[@class="content_read"]/div/div[@class="bookname"]/h1/text()')[0]
 content = html.xpath('//*[@id="content"]/text()')

上面这两行代码，括号里的参数怎么来的，可以讲一下
在浏览器里，按下F12打开开发调试工具，出来这个界面

浏览器开发调试工具界面

点一下左上角这个小箭头，变成激活状态（变蓝）

image.png

像这样：

image.png

图中3的位置变蓝说明你要的内容就在这个标签中，右键它，选择Copy-->Copy XPath，就拿到这个引号里的参数了，后面记得加/text()来获取文本，标题也同样。有时候可能没有那么理想，可以自己修改一下。自行百度XPath语法。

3.保存数据

image.png

image.png

只是抓取文本，速度还是很快的，不过到了第二百三十六章的时候就报错了，列表索引越界，这是因为title可能是一个空的list，这个问题好解决，下面就说。不过还有一个问题暴露出来了，还没去解决，如果下载到一半，报错了，或是网络问题断了，又得从头来过，数据少还好说，要是多的话，那就很浪费时间了，这个问题找时间再折腾吧（思路是用异常处理）。

#第一处修改：
title = html.xpath('//*[@id="wrapper"]/div[@class="content_read"]/div/div[@class="bookname"]/h1/text()')[0]
#第二处修改：
title = title[0] if title else "unnamed"
~~~~~
修改后的get_HTML函数：
def get_HTML(url):
    resp = requests.get(url)
    resp.encoding = resp.apparent_encoding
    html = etree.HTML(resp.text)
    title = html.xpath('//*[@id="wrapper"]/div[@class="content_read"]/div/div[@class="bookname"]/h1/text()')
    content = html.xpath('//*[@id="content"]/text()')
    title = title[0] if title else "unnamed"
    print(title)
    return title,content

这样就不会越界了，简单吧

直接把文本保存到txt文件，需要先在代码的同级目录下新建一个 斗罗大陆 文件夹（可以代码实现新建文件夹，不难。有需要的自己整吧）

写到这里，好像讲漏了什么。想起来再补充吧！！！
讲的其实也不够仔细.

经过几次尝试，发现越到后面，加载速度越慢，可能是后面的内容越来越多，我的网络跟不上，也可能是反爬。最终的代码是这样的。

import requests
from lxml import etree
from time import sleep
import time
base_url = 'https://www.biquges.com/9_9331/596{}.html'
index = 0
def get_HTML(url):
    resp = requests.get(url)
    resp.encoding = resp.apparent_encoding
    html = etree.HTML(resp.text)
    title = html.xpath('//*[@id="wrapper"]/div[@class="content_read"]/div/div[@class="bookname"]/h1/text()')
    content = html.xpath('//*[@id="content"]/text()')
    title = title[0] if title else "unnamed"
    print(title)
    return title,content

def save_novel(title,content):
    global index
    index += 1
    with open('./斗罗大陆/'+str(index)+title+ '.txt', 'wb' ) as file:
        file.write(title.encode('utf-8'))
        for item in content:
            file.write(item.encode('utf-8'))
    file.close()

def main():
    for i in range(6590,7289+1,1):
        url = base_url.format(i)
        title,content = get_HTML(url)
        save_novel(title,content)
        sleep(1)
    
if __name__=='__main__':
    t1 = time.time()
    main()
    print("耗时：",time.time()-t1)

image.png

image.png

可以看到，一共保存了700个文件，但是，我们在网站却只看到了687章，加上引子一章，这无端多出来的十几章，是因为网站url不连续引起的，又什么规律，不好代码跳过，只能手动删除了。

image.png

比如：

第六百五十一章 太阳圣剑 的url是：

第六百五十一章 太阳圣剑

第六百五十二章 大地中的神级追杀 的url是：

第六百五十二章 大地中的神级追杀

这些unnamed就是因为访问了一个空的url，没有获取到我们要的内容才产生的。

打完收工，这次的网页是同步加载的，所以会容易很多；以后可以分享一下异步加载的网页的爬取，或者爬一些图片和视频 <==Flag

写在最后：我是不爱看小说的，这次爬这部小说，纯粹练手，各位小伙伴测试代码的时候请适当放慢速度，不要轰炸服务器。