Python爬虫的学习day02 requests 模块post 函数， lmxl 模块的 etree 模块

1. requests 模块post 函数

1.1 post 函数的参数 （简单版）

参数1：  url     网络地址

参数2：   data   请求数据 （一般数据是  账号，密码）

参数3：    headers  头请求  （User-Agent:  第一章讲过）

---

1.2  post 请求中 url 参数的获取

1.2.1 首先 打开一个 登录界面 。（这里以淘宝的登录界面为样例）

1.2.2 打开控制界面 。（点击F12 ,或者右键检查）

1.2.3 点击网络。 再点击下一行的 全部(all)

1.2.4 点击登录界面的 账号输入的地方，获取一个 Ping 。

1.2.5 点击网络下面的链接，进入post  数据界面。

1.2.6 观看和获取  URL 数据。

1.3  post 请求中  data参数的 名字命名 （或者说是 data字典类型数据的 key 名字）

 1. 在淘宝登录界面输入账号密码

 2. 点击登录界面。

 3. 打开控制界面 -> 网络 --> 点击包含check 的链接 --> 点击负载 -- > 观看参数的名字

---

2.lxml 模块

2.1 lxml 模块的简介

 lxml模块  是python的一个解析库，支持HTML和XML解析，同时支持XPath解析方式。Lxml的解析速率相较BeautifulSoup更高，后者学习相较更简单。

 功能：用于解析HTML与XML文件；进行文件读取；etree和Xpath的配合使用

---

2.2  lxml 模块的使用

主要是 Xpath 对于 HTML的解析

推荐文章：Python爬虫基础教程——lxml爬取入门 - 知乎 (zhihu.com)

参考文章： lxml模块详解_手工&自动化测试开发小白的博客-CSDN博客

参考文章：XPath用法及常用函数_xpath 函数_SeeUa的博客-CSDN博客

---

2.3  函数  Xpath的使用  （看参考文章）

参考文章：Xpath 用法总结_xpath //_free_xiaochen的博客-CSDN博客

参考文章：Xpath 用法总结_xpath //_free_xiaochen的博客-CSDN博客

---

2.4 样例代码   (帮我找找 bug  ,我的 xpath没有找到所有的数据)

import requests  # http 请求函数的库
import chardet   #chardet  支持检测中文、日文、韩文等多种语言  和  字符串编码 函数库
from lxml import etree

headers1 = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0.0.0 Safari/537.36 Edg/115.0.1901.188"}
url = 'https://cn.bing.com/images/search?q=%E5%9B%BE%E7%89%87&form=IQFRBA&id=4929EB0212CFAC8CB6AB59DB53A9D2D99C54FF6A&first=1&disoverlay=1' #图片的网站
response = requests.get(url)
#print(response)
selector =etree.HTML(response.text)
s = selector.xpath('//img/@src')
for x in s:
    print(x)