爬虫基础03

Cookie模拟登录

什么是cookie session
HTTP协议是一种无连接协议,客户端和服务器交互仅仅局限于请求/响应之间,下一次再请求时,服务器会认为是一个新的客户端,为了维护他们之间的连接,让服务器知道是上一个用户发起的请求,必须在一个地方保存客户端信息
cookie : 客户端信息确定用户身份
session: 服务端信息确定用户身份
使用cookie模拟登录人人网
先登录成功1次,获取到cookie
拿着cookie去抓取需要登录才能看到的页面

requests模块

安装
以管理员身份打开Anaconda Prompt,输入conda install requests
常用方法
get(url, headers=headers)
响应对象res属性

1.encoding: 响应编码
res.encoding = 'utf-8'
2.text: 字符串
3.content: bytes
4.status_code: HTTP 响应码
5.url: 返回实际数据的 URL 地址

三步

res = request.get(url,headers=headers)
res.encoding = "utf-8"
html = res.text

get()方法中参数
查询参数(params):字典
res = requests.get(baseurl, params={},)
自动对对params字典进行编码,自动拼接URL地址
输入搜索内容,再输入第几页

使用代理
获取IP地址的网站
快代理 全网代理
普通代理
格式: proxies{"协议":"协议://IP: 端口号"}
测试网站 :http://httpbin.org/get/
proxies={"http":"http://37.192.32.213:36344"}
测试小思路

try:
     res = requests.get(url,timeout=3)
     if res.status_code == 200:
         [].append()
except:
    pass

私密代理
格式:proxies={"http":"http://用户名:密码@IP地址:端口号"}

Web客户端验证(auth)
auth = ("用户名","密码")

SSL证书认证(verify)
verify = True(默认):进行CA证书认证
verify = False:不进行认证
参数为True进行认证,去访问https网站(没有进行CA认证),抛出异常:SSLError
res = requests.get(url,params,headers,proxies,auth,verify)

post()方法
requests.post(url, data=data, ...)
data: 字典,Form表单数据,不用编码,不用转码


xpath 工具(解析)

在XML文档中查找信息的语言,同样适用于HTML文档的检索
xpath辅助工具

Chrome插件: XPath Helper
使用:打开 | 关闭: Ctrl+shift+x
Firefox 插件:XPath Checker
XPath 编辑工具: XML quire

匹配演示


  
    Harry Potter
    J K. Rowling 
    2005
    29.99
  
  
    Python
    Joe 
    2018
    49.99
  

1.查找所有的book节点://book
2.查找所有的book节点下的title节点中,lang属性为"en"的节点://book/title[@lang="en"]
3.查找bookstore下面的第二个book节点下的title子节点:/bookstore/book[2]/title

选取节点
//:从整个文档中查找节点
@: 选取某个节点的属性值 //title[@lang="en"]

@的使用
选取1类节点: //title[@lang="en"]
选取存在某个属性节点: //title[@lang]
选取节点的属性值://title/@lang

匹配多路径:|
xpath表达式1 | xpath表达式2
获取所有book节点下的title子节点和price子节点://book/title | //book//price

函数

1.contains():匹配一个属性值中包含某些字符串的节点
//title[contains(@lang,"e")]
2.text():获取文本
//title[contains(@lang,'e')]/text()

lxml库及xpath使用
1 安装
管理员Prompt: conda install lxml
2 使用流程

  • 导入模块
    from lxml import etree
  • 创建解析对象
    parseHtml = etree.HTML(html)
  • 调用xpath
    rList = parseHtml.xpath('xpath表达式')
    只要调用了xpath,结果一定是列表

你可能感兴趣的:(爬虫基础03)