基础篇-爬虫基本原理

本文为自己动手，丰衣足食！Python3网络爬虫实战案例的学习笔记，部分图片来源于视频截图。

爬虫：请求网站，并提取数据的自动化程序请求网站，并提取数据的自动化程序

爬虫基本流程

在了解爬虫的定义之后，那么再来看看爬虫是如何工作的吧。
第一步：发起请求。一般是通过HTTP库，对目标站点进行请求。等同于自己打开浏览器，输入网址。
第二步： 获取响应内容（response）。如果请求的内容存在于服务器上，那么服务器会返回请求的内容，一般为：HTML，二进制文件（视频，音频），文档，Json字符串等。
第三步：解析内容。对于用户而言，就是寻找自己需要的信息。对于Python爬虫而言，就是利用正则表达式或者其他库提取目标信息。
第四步：保存数据。解析得到的数据可以多种形式，如文本，音频，视频保存在本地。

爬虫基本流程

请求与响应

爬虫最主要的任务就是发起请求(Request)，然后获取服务器的响应(Response)。

请求与响应

Request所包含的信息：
爬虫的第一步就是发起请求，请求包括如下内容：

• 请求方式： 主要有GET,POST两种类型，另外还有HEAD,PUT,DELETE,OPTIONS等。
  GET特点：请求的参数全部包含在请求的网址内。
  POST特点： 需要构造Form Data才能发起请求
• 请求URL：URL的全名是统一资源定位符。网络上的一切资源都是位于服务器的某一个位置，而URL就是告知浏览器去哪里获取这些资源。
• 请求头：请求头（header）就是告诉服务器你是谁，包括User-gaget,Host,Cookies等信息。添加请求头信息，保证请求合法

• 请求体：请求时包含的额外数据，如POST请求需要输入的表单数据，一般用于模拟登陆。

  
  
  

  什么是请求

console中的request

Response所包含的信息
向服务器发出请求后，不出意外，服务器就会返回一个响应（response）。包括如下内容：

• 响应状态：用于表示请求的结果，如200代表成功，404找不到页面，502服务器错误等。
• 响应头 ：如内容类型，内容长度，服务器信息，设置Cookie等等
• 响应体就是网页源代码，也就是用于解析数据的部分。
  访问网页遇到的第一个文件一般都是document形式，都是网页源代码。然后解析内部的超链接，继续发起请求。

响应内容

console中的response

代码部分：

# 导入请求库
import requests
# 请求网页
response = requests.get('http://www.baidu.com')
# 查看响应体内容
print(response.text)
print(response.content)
print(response.headers)
print(response.status_code)

能够抓取的数据:

只要是网页上可以看到的内容，不出意外都是可以抓取的。但是能不能抓得到很大程度上取决于你的爬虫水平。

• 网页文本： 如HTML文档，Json格式文本等
• 图片： 获取的都是二进制文件，如果保存为图片格式
• 视频： 也是也二进制文件，保存为视频格式
• 其他 : 只要你能请求到，就能获取到

数据类型

如何解析网页：

网页解析的方法

解析网页会遇到的问题

抓到的数据和浏览器看到的不一样
element看到的网页的源代码已经经过修饰，数据来自后台端口
浏览器运行JS，后台请求加载，

如何解决JavaScript渲染问题

• 分析Ajax请求
• selenium/webdriver
• Splash
• PyV8、Ghost.py

数据保存方法