爬虫

总结爬虫流程：爬取--->解析--->存储
什么是爬虫？请求网站并提取数据的自动化程序就叫做爬虫。
爬虫的主要目的？是将互联网上的网页下载到本地形成一个互联网内容的镜像备份。
爬虫的基本流程？
1.用户获取网络数据的方式：
1：浏览器提交请求--->下载网页代码--->解析成页面
2：模拟浏览器发送请求(获取网页代码)->提取有用的数据->存放于数据库或文件中
爬虫要做的就是方式2；
发起请求
使用http库向目标站点发起请求，即发送一个Request
Request包含：请求头、请求体等
Request模块缺陷：不能执行JS 和CSS 代码
2、获取响应内容
如果服务器能正常响应，则会得到一个Response
Response包含：html，json，图片，视频等
3、解析内容
解析html数据：正则表达式（RE模块），第三方解析库如Beautifulsoup，pyquery等
解析json数据：json模块
解析二进制数据:以wb的方式写入文件
4、保存数据
数据库（MySQL，Mongdb、Redis）
文件
Request：用户将自己的信息通过浏览器（socket client）发送给服务器（socket server）
Response：服务器接收请求，分析用户发来的请求信息，然后返回数据（返回的数据中可能包含其他链接，如：图片，js，css等）

request
1、请求方式：常见的请求方式：GET / POST

2、请求的URL
url全球统一资源定位符，用来定义互联网上一个唯一的资源 例如：一张图片、一个文件、一段视频都可以用url唯一确定
url编码
3、请求头
User-agent：请求头中如果没有user-agent客户端配置，服务端可能将你当做一个非法用户host；
cookies：cookie用来保存登录信息
一般做爬虫都会加上请求头,模拟用户请求
请求头需要注意的参数：
1.Referrer：访问源至哪里来（一些大型网站，会通过Referrer 做防盗链策略；所有爬虫也要注意模拟）

User-Agent:访问的浏览器（要加上否则会被当成爬虫程序）
cookie：请求头注意携带
xpath
动态加载：使用json串转换
静态页面：使用正则，ｘｐａｔｈ..
结构化数据：先有结构，在有数据　json path
非结构化数据：先有数据，再有结构 正则，xpath

什么是xpath： 是一门在 XML 文档中查找信息的语言，可用来在 XML 文档中对元素和属性进行遍历。
什么是xml:是传输数据而并非显示数据
xpath 语法的目的，找到节点，提取信息
xpath 语法
使用xpath　语法提取数据
什么是xpath： 是一门在 XML 文档中提取信息数据的语言，可以用来在xml文档中对元素（标签）的属性进行遍历
xml:是一个可扩展的标记语言，语法和ｈｔｍｌ相像，里面的节点可以自己定义，被设计的目的用来进行数据的传输和保存
安装lxml pip3 install lxml

以起点中文网为例

notename:节点：查找出html中标签名为notname的节点
/ 表示从根节点的地方开始查找，(相对性的)
// 表示从任意位置匹配出你想要的节点
. 表示选取当前节点
..　表示选取当前节点的父节点
@ 表示选择属性
text() 表示取标签文本内容
notename[1]:表示标签名为的一个的节点
notename[last()]:表示取最后一个
notename[last()-1]:表示取倒数第二个