爬虫相关

1、爬虫作用：采集网络数据，自动化测试（采用编写测试案例），网络攻击，

2、相关知识储备

  1）网络协议

  2）前端基础

  3）正则表达式

  4）数据存储（mysql、分布式）

  5）并发处理，多线程处理

  6）图像处理（登陆验证）

3、爬虫的监控和部署

4、对js、ajax进行原理的了解，才能更好地对动态网页数据进行解析

 ajax是一种无须重新加载整个网页的情况下，能够部分更新网页的技术

 ajax =异步 js+xml

5、get方法将参数放在url中，post将参数放在request body中

6、bs4相当于docker，需要不日和解析引擎使用

7、utf8和utf8mb4的区别

utf8mb4可以存储数据中的表情包等非字符数据