【day4】python/爬虫基本原理讲解。

爬虫： 请求网站 提取数据的 自动化程序

网页浏览流程：

Reques：包括

请求方式：主要有GET,POS T两种请求类型。GET方式的请求信息在URL网址中，POST请求信息在FromData。

请求URL：统一资源定位服务。

请求头：包含请求时的头部信息。如User-Agent，Host，Cookies等信息。

请求体：请求额外携带的数据，如表单提交时的表单数据。

Response:包括

响应状态：404找不到页面，502服务器错误。

响应头：如内容类型，长度，服务器设置，设置Cookies等。

响应体：最主要内容，包括请求资源的内容，如HTML等。

解析方式：

1.直接处理

2.Json解析

3.正则表达式

4.BeautifulSoup

5.PyQuery

6.Xpath

JavaScript渲染问题：

1.分析Ajax请求

2.Selenium/WebDriver

3.Splash

4.PyV8,Ghost.py

数据存储：

1.直接存储

2.关系型数据库

3.非关系型数据库

4.二进制文件