python爬虫01-爬虫介绍

目录

1、爬虫是什么

2、爬虫有什么用

3、爬虫的步骤

4、网页的渲染方式

---

1、爬虫是什么

爬虫就是写一段代码运行去模仿人访问网站。可以代替人们自动的在互联网进行数据采集和整理。

2、爬虫有什么用

• 数据采集：爬虫可以自动访问网页并抓取其中的数据，可以高效地从大量网页中提取所需的信息；

• 数据处理和分析：爬虫可以将采集到的数据进行处理和分析，可以对数据进行清洗、整理和结构化，为后续的数据分析和挖掘提供基础。

• 自动化操作：爬虫可以模拟人的操作，自动进行一些重复性的任务，比如自动填写表单、自动提交数据等。

•  ... ...

总的来说，爬虫可以帮助人们从互联网获取和处理大量的数据，提高工作效率，为数据分析、信息监测和自动化操作等提供支持。

3、爬虫的步骤

1. 访问网页     ----->    2.解析---->    3.存储

4、网页的渲染方式

• 客户端渲染：             理解 ：前后端分离实现
  • 1.浏览器加载基本结构；
  • 2.浏览器访问数据地址获取对应的数据；
  • 3.浏览器渲染数据进行显示；
  • 爬取思路：直接访问数据地址获取数据；
• 服务器端渲染： 
  • 服务端直接将结构和数据渲染完毕后返回给客户端；
  • 抓取思路：直接访问数据地址获取到html源代码即可！