Python！30行爬虫代码

Python！30行爬虫代码

初学Python，想用博客记录自己的学习过程。
来源：https://www.bilibili.com/video/av19954075?t=4933

刚对爬虫有了初步了解，一直崇拜CSDN上的大佬，希望自己写的东西也能对别人有所帮助！

话不多说，先介绍一下爬虫：
爬虫即是一段能够自动的批量的采集（下载）我们所需要的网络资源！（该资源可以是图片、网站、视频、文件、音频等等）

粗略的说一下**

开发爬虫的步骤

**：
首先：确定你的爬取目标数据
接着，分析目标数据的对应的URL（这里简单介绍一下URL，学术名称：统一资源定位符，其实也就是网址）
再接着，下载数据
清洗数据
写入文本

这里附上代码

import requests
import  re
url="http://www.jingcaiyuedu.com/novel/GLSmM4.html"
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:67.0) Gecko/20100101 Firefox/67.0",}
response = requests.get(url,headers=headers)
response.encoding='utf-8'
html=response.text
#print(html)
title=re.findall(r'',html)[0]
fb=open('%s.txt'%title,'w',encoding='utf-8')
dl=re.findall(r'
.*?
',html,re.S)[0]
chapter_into_list=re.findall(r'(.*?)<',dl)
for chapter_info in chapter_into_list:
    chapter_url,chapter_title=chapter_info
    chapter_url=f"http://www.jingcaiyuedu.com{chapter_url}"
    #print(chapter_url,chapter_title)
    #下载章节内容
    chapter_response=requests.get(chapter_url,headers=headers)
    chapter_response.encoding='utf-8'
    chapter_html=chapter_response.text
    chapter_content=re.findall(r' 
(.*?)
',chapter_html,re.S)[0]
    print("=====",chapter_content)
    chapter_content=chapter_content.replace(" ",'')
    chapter_content = chapter_content.replace(" ", '')
    chapter_content = chapter_content.replace("
", '')
    chapter_content = chapter_content.replace("\n", '')
    fb.write(chapter_title)
    fb.write(chapter_content)
    fb.write('\n')
    print(chapter_url)