爬虫基础03

Cookie模拟登录

什么是cookie session
HTTP协议是一种无连接协议,客户端和服务器交互仅仅局限于请求/响应之间,下一次再请求时,服务器会认为是一个新的客户端,为了维护他们之间的连接,让服务器知道是上一个用户发起的请求,必须在一个地方保存客户端信息
cookie : 客户端信息确定用户身份
session: 服务端信息确定用户身份
使用cookie模拟登录人人网
先登录成功1次,获取到cookie
拿着cookie去抓取需要登录才能看到的页面

requests模块

安装
以管理员身份打开Anaconda Prompt,输入conda install requests
常用方法
get(url, headers=headers)
响应对象res属性

1.encoding: 响应编码
res.encoding = 'utf-8'
2.text: 字符串
3.content: bytes
4.status_code: HTTP 响应码
5.url: 返回实际数据的 URL 地址

三步

res = request.get(url,headers=headers)
res.encoding = "utf-8"
html = res.text

get()方法中参数
查询参数(params)：字典
res = requests.get(baseurl, params={},)
自动对对params字典进行编码,自动拼接URL地址
输入搜索内容,再输入第几页

使用代理
获取IP地址的网站
快代理 全网代理
普通代理
格式： proxies{"协议":"协议://IP: 端口号"}
测试网站 :http://httpbin.org/get/
proxies={"http":"http://37.192.32.213:36344"}
测试小思路

try:
     res = requests.get(url,timeout=3)
     if res.status_code == 200:
         [].append()
except:
    pass

私密代理
格式：proxies={"http":"http://用户名:密码@IP地址:端口号"}

Web客户端验证(auth)
auth = ("用户名","密码")

SSL证书认证(verify)
verify = True(默认)：进行CA证书认证
verify = False：不进行认证
参数为True进行认证，去访问https网站（没有进行CA认证），抛出异常：SSLError
res = requests.get(url,params,headers,proxies,auth,verify)

post()方法
requests.post(url, data=data, ...)
data: 字典，Form表单数据，不用编码，不用转码

---

xpath 工具（解析）

在XML文档中查找信息的语言，同样适用于HTML文档的检索
xpath辅助工具

Chrome插件： XPath Helper
使用：打开 | 关闭： Ctrl+shift+x
Firefox 插件：XPath Checker
XPath 编辑工具： XML quire

匹配演示

  
    
    J K. Rowling 
    2005
    29.99
  
  
    
    Joe 
    2018
    49.99
  

1.查找所有的book节点：//book
2.查找所有的book节点下的title节点中，lang属性为"en"的节点：//book/title[@lang="en"]
3.查找bookstore下面的第二个book节点下的title子节点：/bookstore/book[2]/title

选取节点
//：从整个文档中查找节点
@： 选取某个节点的属性值 //title[@lang="en"]

@的使用
选取1类节点： //title[@lang="en"]
选取存在某个属性节点： //title[@lang]
选取节点的属性值：//title/@lang

匹配多路径：|
xpath表达式1 | xpath表达式2
获取所有book节点下的title子节点和price子节点：//book/title | //book//price

函数

1.contains()：匹配一个属性值中包含某些字符串的节点
//title[contains(@lang,"e")]
2.text()：获取文本
//title[contains(@lang,'e')]/text()

lxml库及xpath使用
1 安装
管理员Prompt: conda install lxml
2 使用流程

• 导入模块
  from lxml import etree
• 创建解析对象
  parseHtml = etree.HTML(html)
• 调用xpath
  rList = parseHtml.xpath('xpath表达式')
  只要调用了xpath，结果一定是列表