1. json串,必须是由数组(list)和字典(dict)两种数据结构组成
2.josn串中的非数字数据,都必须使用双引号包裹
1.json.dumps(): 将python数据类型,转换为为json字符串
2.json.loads(): 将json字符串,转换为python的数据类型
3.json.dump():将python数据类型,转换为json字符串,并且可以将json字符串写入本地
4.json.load():将本地文件中存储的json字符串,转换为python数据类型
import json
json串 错误:
json.decoder.JSONDecodeError:json 字符串不符合规则
ajax请求:在当前页面结构不变的情况下,不停的能够获取数据,我们就称他为ajax请求
添加 Userr-Agent 的目的是模拟浏览器发起请求
read()方法得到的是一个二进制数据
静态页面提取信息用正则提取
数据持久化向mysql mongodb redis 里面存储
数组越界,说明正则没有找到;IndexError: list index out of range
HTTPError 是 URLError 的子类
get 请求 参数pamars = request.urlencode(pamars)
full_url = url+parmars
免费的代理 第一不稳定 第二可用率不高
cookie 里面存储 的是和用户相关的信息
cookiejar 用来管理http 起到保存/存储cookie 数据 将数据存储到内存中
MozillaCookieJa 同样是用来存储cookie的 cookie 数据可以写入本地文件,
写入后要 .save() 保存
HTTPCookieProcessor处理器 用来管理 cookiejar
cookiejar.save() 讲cookie保存到本地
设置cookie 是为了模拟用户请求
session是维持会话的
install_......把你定义的opener 设置为全局的opener
总结爬虫流程:爬取--->解析--->存储
什么是爬虫?请求网站并提取数据的自动化程序就叫做爬虫。
爬虫的主要目的?是将互联网上的网页下载到本地形成一个互联网内容的镜像备份。
爬虫的基本流程?
1.用户获取网络数据的方式:
1:浏览器提交请求--->下载网页代码--->解析成页面
2:模拟浏览器发送请求(获取网页代码)->提取有用的数据->存放于数据库或文件中
爬虫要做的就是方式2;
发起请求
使用http库向目标站点发起请求,即发送一个Request
Request包含:请求头、请求体等
Request模块缺陷:不能执行JS 和CSS 代码
2、获取响应内容
如果服务器能正常响应,则会得到一个Response
Response包含:html,json,图片,视频等
3、解析内容
解析html数据:正则表达式(RE模块),第三方解析库如Beautifulsoup,pyquery等
解析json数据:json模块
解析二进制数据:以wb的方式写入文件
4、保存数据
数据库(MySQL,Mongdb、Redis)
文件
Request:用户将自己的信息通过浏览器(socket client)发送给服务器(socket server)
Response:服务器接收请求,分析用户发来的请求信息,然后返回数据(返回的数据中可能包含其他链接,如:图片,js,css等)
request
1、请求方式:常见的请求方式:GET / POST
2、请求的URL
url全球统一资源定位符,用来定义互联网上一个唯一的资源 例如:一张图片、一个文件、一段视频都可以用url唯一确定
url编码
3、请求头
User-agent:请求头中如果没有user-agent客户端配置,服务端可能将你当做一个非法用户host;
cookies:cookie用来保存登录信息
一般做爬虫都会加上请求头,模拟用户请求
请求头需要注意的参数:
1.Referrer:访问源至哪里来(一些大型网站,会通过Referrer 做防盗链策略;所有爬虫也要注意模拟)
User-Agent:访问的浏览器(要加上否则会被当成爬虫程序)
cookie:请求头注意携带
xpath
动态加载:使用json串转换
静态页面:使用正则,xpath..
结构化数据:先有结构,在有数据 json path
非结构化数据:先有数据,再有结构 正则,xpath
什么是xpath: 是一门在 XML 文档中查找信息的语言,可用来在 XML 文档中对元素和属性进行遍历。
什么是xml:是传输数据而并非显示数据
xpath 语法的目的,找到节点,提取信息
xpath 语法
使用xpath 语法提取数据
什么是xpath: 是一门在 XML 文档中提取信息数据的语言,可以用来在xml文档中对元素(标签)的属性进行遍历
xml:是一个可扩展的标记语言,语法和html相像,里面的节点可以自己定义,被设计的目的用来进行数据的传输和保存
安装lxml pip3 install lxml
以起点中文网为例
notename:节点:查找出html中标签名为notname的节点
/ 表示从根节点的地方开始查找,(相对性的)
// 表示从任意位置匹配出你想要的节点
. 表示选取当前节点
.. 表示选取当前节点的父节点
@ 表示选择属性
text() 表示取标签文本内容
notename[1]:表示标签名为的一个的节点
notename[last()]:表示取最后一个
notename[last()-1]:表示取倒数第二个