爬虫Two-Day总结

1. json串,必须是由数组(list)和字典(dict)两种数据结构组成

2.josn串中的非数字数据,都必须使用双引号包裹

1.json.dumps(): 将python数据类型,转换为为json字符串

2.json.loads(): 将json字符串,转换为python的数据类型

3.json.dump():将python数据类型,转换为json字符串,并且可以将json字符串写入本地

4.json.load():将本地文件中存储的json字符串,转换为python数据类型

import json

json串 错误:

json.decoder.JSONDecodeError:json 字符串不符合规则

ajax请求:在当前页面结构不变的情况下,不停的能够获取数据,我们就称他为ajax请求

添加 Userr-Agent  的目的是模拟浏览器发起请求

read()方法得到的是一个二进制数据

静态页面提取信息用正则提取

数据持久化向mysql mongodb redis 里面存储

数组越界,说明正则没有找到;IndexError: list index out of range

HTTPError 是 URLError 的子类

get 请求 参数pamars = request.urlencode(pamars)

full_url = url+parmars

免费的代理 第一不稳定 第二可用率不高

cookie 里面存储 的是和用户相关的信息

cookiejar 用来管理http 起到保存/存储cookie 数据 将数据存储到内存中

MozillaCookieJa 同样是用来存储cookie的 cookie 数据可以写入本地文件,

写入后要 .save() 保存

HTTPCookieProcessor处理器 用来管理 cookiejar

cookiejar.save() 讲cookie保存到本地

设置cookie 是为了模拟用户请求

session是维持会话的

install_......把你定义的opener 设置为全局的opener

总结爬虫流程:爬取--->解析--->存储

什么是爬虫?请求网站并提取数据的自动化程序就叫做爬虫。

爬虫的主要目的?是将互联网上的网页下载到本地形成一个互联网内容的镜像备份。

爬虫的基本流程?

1.用户获取网络数据的方式:

1:浏览器提交请求--->下载网页代码--->解析成页面

2:模拟浏览器发送请求(获取网页代码)->提取有用的数据->存放于数据库或文件中

爬虫要做的就是方式2;

发起请求

使用http库向目标站点发起请求,即发送一个Request

Request包含:请求头、请求体等

Request模块缺陷:不能执行JS 和CSS 代码

2、获取响应内容

如果服务器能正常响应,则会得到一个Response

Response包含:html,json,图片,视频等

3、解析内容

解析html数据:正则表达式(RE模块),第三方解析库如Beautifulsoup,pyquery等

解析json数据:json模块

解析二进制数据:以wb的方式写入文件

4、保存数据

数据库(MySQL,Mongdb、Redis)

文件

Request:用户将自己的信息通过浏览器(socket client)发送给服务器(socket server)

Response:服务器接收请求,分析用户发来的请求信息,然后返回数据(返回的数据中可能包含其他链接,如:图片,js,css等)

request

1、请求方式:常见的请求方式:GET / POST

2、请求的URL

url全球统一资源定位符,用来定义互联网上一个唯一的资源 例如:一张图片、一个文件、一段视频都可以用url唯一确定

url编码

3、请求头

User-agent:请求头中如果没有user-agent客户端配置,服务端可能将你当做一个非法用户host;

cookies:cookie用来保存登录信息

一般做爬虫都会加上请求头,模拟用户请求

请求头需要注意的参数:

1.Referrer:访问源至哪里来(一些大型网站,会通过Referrer 做防盗链策略;所有爬虫也要注意模拟)

User-Agent:访问的浏览器(要加上否则会被当成爬虫程序)

cookie:请求头注意携带

xpath

动态加载:使用json串转换

静态页面:使用正则,xpath..

结构化数据:先有结构,在有数据 json  path

非结构化数据:先有数据,再有结构 正则,xpath

什么是xpath:    是一门在 XML 文档中查找信息的语言,可用来在 XML 文档中对元素和属性进行遍历。

什么是xml:是传输数据而并非显示数据

xpath 语法的目的,找到节点,提取信息

xpath 语法

使用xpath 语法提取数据

什么是xpath:    是一门在 XML 文档中提取信息数据的语言,可以用来在xml文档中对元素(标签)的属性进行遍历

xml:是一个可扩展的标记语言,语法和html相像,里面的节点可以自己定义,被设计的目的用来进行数据的传输和保存

安装lxml pip3 install lxml

以起点中文网为例

notename:节点:查找出html中标签名为notname的节点

/ 表示从根节点的地方开始查找,(相对性的)

// 表示从任意位置匹配出你想要的节点

. 表示选取当前节点

.. 表示选取当前节点的父节点

@ 表示选择属性

text() 表示取标签文本内容

notename[1]:表示标签名为的一个的节点

notename[last()]:表示取最后一个

notename[last()-1]:表示取倒数第二个

你可能感兴趣的:(爬虫Two-Day总结)