Python爬虫——用正则表达式爬取小说内容

用Python爬取—灵武封神_第一章 死里逃生

import requests
import re
import json
from requests.exceptions import RequestException


def get_one_page(url):
    try:
        headers = {
        'User_Agent': 'Mozilla/5.0 (Macintosh; Inter Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.162 Safari/537.36'
        }   # 设置代理服务器
        response = requests.get(url, headers=headers)
        if response.status_code == 200:
            response.encoding = 'utf8'      # 如果不加这条语句，输出爬取的信息为乱码！
            # 爬取下来的编码是ISO-8859-1格式，需要转化为utf-8格式，加一句response.encoding = “utf8”
            return response.text
        return None
    except RequestException:
        return None


"""
try-except代码块；
如果try代码块中的代码运行起来没有问题，Python将跳过except代码块；
如果try代码块中的代码导致了错误，Python将查找这样的except代码块，并运行其中的代码，即其中指定的错误与引发的错误相同
"""


def parse_one_page(html):
    pattern = re.compile('.*?
(.*?)
.*?"acticleBody">.*?
(.*?)

', re.S) items = re.findall(pattern, html) # findall()匹配的是正则表达式()里的内容，如果有返回结果的话，就是列表类型。有(),则只返回()里的内容；没有()，则返回正则表达式的内容。 # items = re.search(pattern, html) # search()匹配的是正则表达式的内容 for item in items: yield{ 'title': item[0], 'name': item[1], 'content': item[2] } # print(item) def write_to_file(content): """写入文件""" with open('lingwufengshen.txt', 'a', encoding='utf-8') as f: # 实参'a',以便将内容附加到文件末尾,而不是覆盖文件原来的内容；'w'会覆盖文件原来的内容 print(type(json.dumps(content))) f.write(json.dumps(content, ensure_ascii=False)+'\n') # json.loads（） 是将字符串传化为字典；json.dumps (） 是将字典转化为字符串 # 通过JSON 库的dumps()方法实现字典的序列化,并指定ensure_ascii参数为False,保证输出结果是中文形式而不是Unicode编码 def main(): url = 'http://book.zongheng.com/chapter/891033/58356325.html' html = get_one_page(url) # print(html) for item in parse_one_page(html): write_to_file(item) if __name__ == '__main__': # __name__是内置变量，可用于表示当前模块的名字 # if __name__=='__main__'下的代码只能被自己直接执行，不能被其他程序import调用执行； main() # 在network的response中查看原始请求得到的源码