Python67-爬虫

爬虫的基础知识

爬虫的定义

只要是浏览器可以做的事情，原则上，爬虫都可以帮助我们做，即：浏览器不能够做到的，爬虫也不能做

网络爬虫：又叫网络蜘蛛（spider），网络机器人，就是模拟客户端发送网络请求，接受请求响应，一种按照一定的规则，自动地抓取互联网信息的程序

爬虫的分类

• 通用爬虫

  通常指搜索引擎的爬虫（面对整个互联网）

• 聚焦爬虫：

  针对特定网站的爬虫

• 流程：

  
  
  

  爬虫的工作流程

ROBOTS协议

网站通过robots协议告诉搜索引擎那些页面可以抓取，那些页面不能抓取

例如：https://www.taobao.com/robots.txt（通常是网站后面加/robots.txt即可以看到，就是一个文本文件）

部分内容如下：

User-agent:  Baiduspider    #用户代理，可以理解为浏览器的身份标识，通过这个字段可以告诉服务器是什么样的程序在请求网站，Baiduspider即百度的搜索引擎
Allow:  /article    #表示允许爬的内容
Allow:  /oshtml
Allow:  /ershou
Allow: /$
Disallow:  /product/    #表示不允许该用户代理爬的内容
Disallow:  /

但是robots只是道德层面的约束

http和https

为了拿到和浏览器一模一样的数据，就必须要知道http和https

在这里插入图片描述

• http：

  超文本传输协议，明文方式传输，默认端口80

• https：

  http+ssl（安全套接字层），会对数据进行加密，默认端口443

https更安全，但是性能更低（耗时更长）

浏览器发送http请求的过程

在这里插入图片描述

ps：爬虫在爬取数据的时候，不会主动的请求css、图片、js等资源，就算自己爬取了js的内容，也只是字符串，而不会执行，故， 浏览器渲染出来的内容和爬虫请求的页面并不一样

爬虫要根据当前url地址对应的响应为准，当前url地址的elements的内容和url的响应不一样，特别要注意tbody，经常在elements中有而响应中无

• 页面上的数据在哪里？

  • 当前url地址对应的相应中
  • 其他url地址对应的相应中，如ajax请求
  • js生成：1、部分数据在响应中，2、全部由js生成

url的格式

host:服务器的ip地址或者是域名
port：服务器的端口
path：访问资源的路径
query-string：参数，发送给http服务器的数据
anchor：锚点（跳转到网页的制定锚点位置，anchor也有主播的意思）

例：http://item.jd.com/11936238.html#product-detail，就是一个带锚点的url，会自动跳转到商品详情，但是要注意，一个页面带锚点和不带锚点的响应是一样的（写爬虫的时候，就可以直接删掉锚点的部分）

http请求格式

在这里插入图片描述

如，在访问百度时，查看request headers的source时，就可以看到如下内容

GET http://www.baidu.com/ HTTP/1.1  
#请求方法：get；url：http:xxxx.com/；协议版本:http1.1，然后换行
Host: www.baidu.com
#请求头部：host；值：www.baidu.com；换行，以下类似
Proxy-Connection: keep-alive    #keep-alive表示支持长链接。为什么要用长连接：不用频繁握手挥手，提高效率
Upgrade-Insecure-Requests: 1    #升级不安全的请求：把http请求转换为https的请求
DNT: 1  #Do not track
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko)    Chrome/76.0.3809.100 Safari/537.36  #浏览器的标识。名字/版本号。如果有模拟手机版的请求，改user agent即可，不同的user agent访问相同的url，可能会得到不同的内容
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3  #浏览器告诉服务器自己可以接受什么样的数据
Referer: http://baidu.com/
Accept-Encoding: gzip, deflate  #告诉服务器自己可以接受什么样的压缩方式
Accept-Language: en-US,en;q=0.9 #告诉服务器自己可以接受什么样语言的数据，q：权重，更愿意接受哪种语言
Cookie: BAIDUID=B8BE58B25611B7BBA38ECFE9CE75841F:FG=1; BIDUPSID=B8BE58B25611B7BBA38ECFE9CE75841F; PSTM=1565080210; BD_UPN=12314753; delPer=0; BD_HOME=0;    H_PS_PSSID=26522_1453_21118_29523_29521_29098_29568_28830_29221_26350_22159; BD_CK_SAM=1; PSINO=7; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598; COOKIE_SESSION=218_0_3_0_0_7_1_1_1_3_76_2_0_0_0_0_0_0_1565599571%7C3%230_0_1565599571%7C1; rsv_jmp_slow=1565599826516; H_PS_645EC=2c80At1Is237xdMOfC3ju2q0qlWJ%2FFlbD5N50IQeTrCHyIEsZN6yQYBgLHI; B64_BOT=1   #cookie：保存用户的个人信息。ps：cookie和session的区别：cookie保存在浏览器本地，不安全，存储量有上限，session保存在服务器，更安全，往往没有上限。cookie又分为request cookie和reponse cookie，在浏览器中可以查看

除了以上字段，可能还有referer字段，表示当前url是从哪个url过来的；x-request-with字段，表示是ajax异步请求

以上字段中，主要是user agent（模拟浏览器），cookie（反反爬虫）

常见的请求方式

• get：除了post，基本都用get，更常用

• post：常用于提交表单的时候（安全），传输大文件的时候（美观）

响应状态码（status code）

• 200：成功
• 302/307：临时转移至新的url
• 404：not found
• 500：服务器内部错误

字符串知识复习

• str类型和bytes类型

  • bytes：二进制类型，互联网上数据都是以二进制的方式传输的

• str：unicode的呈现形式

ps：ascii码是一个字节，unicode编码通常是2个字节，utf-8是unicode的实现方式之一，是一变长的编码方式，可以是1、2、3个字节

编码和解码的方式必须一致，否则会乱码

爬虫部分重要的是理解，而不是记忆

---

Request模块使用入门

Q：为什么要学习requests，而不是urllib？

1. requests的底层实现是就urllib，urllib能做的事情，requests都可以做；
2. requests在python2和python3中通用，方法完全一样；
3. requests简单易用；
4. request能够自动帮我们解压（gzip等）网页内容

中文文档api：http://docs.python-requests.org/zh_CN/latest/index.html

基础使用

"""基础入门"""
import requests

r = requests.get('http://www.baidu.com')    #r即为获得的响应。所请求的所有东西都在r中
# 必须要包含协议（http或https）；还有dlelete，post等方法

print(r)

print(r.text)   #text是一个属性，其实可以通过他的意思判断，text是一个名字，所以是属性，如果是方法，常为动词
#会自动根据推测的编码方式解码为str

print(r.encoding)   #根据头部推测编码方式，如果猜错了，我们解码的时候就必须自己指定解码的方式

print(r.content)    #也是属性，是一个bytes类型的数据。
print(r.content.decode())   #将bytes类型转换为str类型。默认的解码方式为utf-8
print(r.status_code)    #获取状态码
assert r.status_code == 200   #断言状态码为200，如果断言失败，会报错：assertionerror
#可以用此方法判断请求是否成功

print(r.headers)    #响应头，我们主要关注其中的set-cookie（在本地设置cookie）字段
print(r.request)    #关于对应相应的请求部分，是一个对象
print(r.request.url)    #请求的url地址
print(r.url)    #响应地址，请求的url地址和响应的url地址可能会不一样（因为可能和重定向）
print(r.request.headers)    #请求头，如果不设置，默认的user-agent是python-requests/x.xx.x

with open('baidu_r.txt','w') as f:    #测试：查看默认的user-agent访问时返回的内容
    f.write(r.content.decode())

"""
requests中解编码的方法：
1. r.content.decode()   #content的类型为bytes，必须再次解码
2. r.content.decode('gbk')
3. r.text       #text是按照推测的编码方式进行解码后的数据，他的类型为str
"""

发送带header的请求

具体的header到浏览器中进行查看

"""
为什么请求需要带上header？
    模拟浏览器，欺骗服务器，获取和浏览器一致的内容

header的形式：字典，形式：{request headers冒号前面的值:request headers冒号后面的值}，大部分情况，我们带上user-agent即可，少数情况需要cookie
用法：requests.get(url,headers=headers) 
"""

import requests

headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:68.0) Gecko/20100101 Firefox/68.0'}

response = requests.get('https://www.baidu.com',headers=headers)

print(response.content.decode())    #会发现响应中的数据比不带header多许多

发送带参数的请求

#在url中带参数的形式
#例如：在我们百度搜索某东西时，就会带上一大堆参数，但是大部分可能是没有用的，我们可以尝试删除，然后我们在爬虫中带的参数只需要为其中不能删除的部分即可
"""
参数的形式：字典
kw={'wd':'长城'}
用法：requests.get(url,params=kw)
"""
import requests

headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:68.0) Gecko/20100101 Firefox/68.0'}

params = {'wd':'这里是中文'}
#如果参数含中文，其就会被自动编码，编码的后的形式含百分号，我们可以使用url解码来查看原来的内容

r = requests.get('https://www.baidu.com',params=params,headers=headers)
print(r.status_code)
print(r.request.url)
print(r.url)
print(r.content.decode())

#当然，我们也可以直接把参数拼接到url中去，而不单独传参(也不需要手动编码)，eg：r = requests.get('https://www.baidu.com/s?wd={}'.formate('传智播客'))

小练习：爬贴吧前1000页

import requests
kw = input('请输入您要爬取的贴吧名：')
url = 'https://tieba.baidu.com/f?kw=%{kw}8&pn='.format(kw=kw)
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:68.0) Gecko/20100101 Firefox/68.0'}


for i in range(1000):
    url = urlr.formate(str(i*50))
    r = requests.get(url=url, headers=headers)
    with open('./tieba_pages/{}-第{}页.html'.format(kw,i), 'w', encoding='utf-8') as f:
        # 为什么是utf-8，因为r.content.decode()为utf-8的格式
        f.write(r.content.decode())

扁平胜于嵌套：比如，多用列表推倒式替代某些循环

---

Request深入

发送post请求

用法：

response = requests.post('https://www.baidu.com',data=data,headers=headers)
post时不仅需要地址，还需要我们post的数据，该数据就放在data中
data的形式：字典

使用代理

在这里插入图片描述

正向代理与反向代理

在这里插入图片描述

反向代理：浏览器不知道服务器的地址，比如以上的图例中，浏览器知道的只是nginx服务器，因此，及时有攻击，也只能攻击nginx，不能攻击到我们的服务器

正向代理：浏览器知道服务器的地址

爬虫为什么要使用代理

• 让服务器以为不是同一个客户端在请求
• 防止我们的真实地址被泄漏，防止被追究

使用代理

用法：requests.get('http://www.baidu.com',proxies=proxies)
proxies的形式是字典

proxies={
   'htttp':'http://12.34.56.78:8888', #如果请求的是http
   'https':'https://12.34.56.78:8888' #如果请求的是https的地址
}

免费代理的网址：https://proxy.mimvp.com/free.php

代理一般可以分为3种：

• 透明代理
• 普匿代理，透明以及普匿，对方是可以追查到我们的真实ip的
• 高匿代理

要注意，不是所有的ip都支持发送https的请求，有些也不支持发送post请求

代码示例：

"""
0. 准备大量ip地址，组成ip池，随机选择一个ip地址来使用
    - 如何随机选择ip
        - {'ip':ip,'times':0}
        - [{},{},...{}],对这个ip的列表按照使用次数进行排序
        选择使用次数较少的几个ip，从中随机选择一个
1. 检查代理的可用性
    - 使用request添加超时参数，判断ip的质量
    - 在线代理ip质量检测的网站
"""
import requests

proxies = {"http":'http://123.56.74.13:8080'}

headers = {
'User-Agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 Safari/604.1'
}

r = requests.get('http://www.baidu.com', proxies=proxies,headers=headers)

print(r.status_code)
print(r.request.url)

session和cookie的使用与处理

cookie和session的区别

• cookie存储在客户的浏览器上，session存储在服务器上
• cookie的安全性不如session，别人可以分析存放在本地的cokie并进行cookie欺骗
• session会在一定时间内保存在服务器上，当访问增多，会比较比较占用服务器的性能
• cookie保存的数据容量有限（通常是4k），很多浏览器限制一个站点最多保存20个cookie

爬虫处理cookie和session

• 带上 cookie和session的好处：

  能够请求到登录之后的页面

• 带上cookie和session的弊端：

  一套cookie和session往往和一个用户对应，请求太快、次数太多，容易被服务器识别为爬虫

不需要cookie的时候尽量不去使用cookie

但是为了获取登录之后的页面，我们必须发送带有cookies的请求

携带cookie请求：

• 携带一堆cookie进行请求，把cookie组成cookie池

如何使用

requests提供了一个叫做session的类，来实现客户端和服务器端的会话保持

1. 实例化一个session对象：session = requests.session()
2. 让session发送get或post请求：r = sessioon.get(url=url,data=post_data, headers=headers)

请求登录之后的网站的思路：

• 实例化session
• 先使用session发送请求，登陆对应网站，把cookie保存在session中，这里请求时，url应是表单的action的值，如果没有action项，就尝试抓包，看看当我们提交的时候，究竟给哪个网址发送了post请求；post_data是表单中的要提交的数据，其键为name
• 再使用session请求登录之后才能访问的网站，session能够自动的携带登录成功时保存在其中的cookie，进行请求

案例：访问淘宝的登录后的页面

import requests

sesssion = requests.session()

headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:68.0) Gecko/20100101 Firefox/68.0'}
#注意：在copy User-Agent时，一定要复制全，不能直接在查看的时候copy，容易带上省略号
post_url = 'https://login.m.taobao.com/login.htm'
#post的url一般是在源码中表单的action中找

post_data = {
    'TPL_username':'xxxx',
    'TPL_password2':'xxxx'
}#表单中要填写的项

sesssion.post(url=post_url, data=post_data, headers=headers)

r = sesssion.get('https://h5.m.taobao.com/mlapp/mytaobao.html',headers=headers)

with open('taobao.html', 'w', encoding='utf-8') as f:
    f.write(r.content.decode()) #会发现taobao.html中的代码与我们登录淘宝后的https://h5.m.taobao.com/mlapp/mytaobao.html的代码一样，即成功访问了登录淘宝后的页面

不发送post请求，使用cookie获取登录后的页面

即：直接将cookie加在headers里面，而不必使用session进行post

如：

import requests

headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36',
    'Cookie':'xxxx'
}
url = 'https://i.taobao.com/my_taobao.htm'

r = requests.get(url=url, headers=headers)

print(r.content.decode())

也可以对cookies以参数形式传递，cookies为字典

r = requests.get('http://xxxx',headers=headers, cookies=cookies)

• cookie过期时间很长的
• 在cookie过期之前能够拿到所有的数据，比较麻烦
• 配合其他程序一起使用，其他程序专门获取cookie，当前程序专门请求页面

寻找登录的post地址

• 在form表单中查找actiond的url地址

  • post的数据是input标签中的name的值作为键，真正的用户名密码作为值的字典，post的url地址就是action对应的url地址

• 抓包，看看当我们提交的时候，究竟给哪个网址发送了post请求

  • 勾选perserve log按钮，防止页面跳转找不到url

  • 寻找post数据，确定参数

    • 参数不会变：（如何确定参数会不会变？多请求几次），直接用，比如密码不是动态加密的时候

    • 参数会变

      • 参数在当前的响应中
      • 通过js生成：定位到对应的js查看

定位想要的js

• 法一：对于Chrome浏览器

  • 选择登录按钮（或任意绑定了js事件的对象）
  • Eventlistener
  • 勾选Framework listeners
  • 查看对应的js
  • 找到登录按钮对应的函数
  • （如果遇到某个元素（如：$('.password').value）是干嘛的，可以copy到console中去进行查看；也可以直接对js添加断点）

• 法二：对于Chrome浏览器

  • 直接通过Chrome中的search all file的搜索url中的关键字

• 法三

  添加断点的方式来查看js的操作，通过python进行同样的操作，就可以得到js生成的数据

Requests的小技巧

cookie对象与字典的相互转化与url编解码

"""1. 把cookie对象（cookiejar）转化为字典"""
import requests
r = requests.get('http://www.baidu.com')
print(r.cookies)
ret = requests.utils.dict_from_cookiejar(r.cookies)
print(ret)  #输出：{'BDORZ': '27315'}
"""将字典转化为cookiejar"""
print(requests.utils.cookiejar_from_dict(ret))

"""2. url地址的编解码"""
url = 'http://www.baidu.com'
print(requests.utils.quote(url))    #输出：http%3A//www.baidu.com
print(requests.utils.unquote(requests.utils.quote(url)))    #输出：http://www.baidu.com

"""输出结果如下：
]>
{'BDORZ': '27315'}
]>
http%3A//www.baidu.com
http://www.baidu.com
"""

请求SSL证书验证与超时设置

如果某网站使用的是https，但是又没有购买ssl证书，等浏览器访问时就会提示不安全，而当我们使用爬虫爬取的就会报错，此时，我们可以用verify=False来解决

import requests
r = requests.get('https://www.12306.cn/mormhweb/',verify=False, timeout=10) #如果超时，会报错，因此要结合try使用
"""注意：此时不会报错，但是会warning"""

配合状态码判断是否请求成功

assert response.status_code == 200  #如果断言失败，会报错，因此应该结合try使用

重新请求

使用retrying模块，通过装饰器的方式使用

"""重新请求"""
import requests
from retrying import retry

headers= {
            'User-Agent':'Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 Safari/604.1'
        }
@retry(stop_max_attempt_number=3)   #即下面的方法最多可以报错3次，如果3次都报错，则程序报错
def _parse_url(url):
    r = requests.get(url,headers=headers,timeout=0.01)
    assert r.status_code == 200
    return r.content.decode()

def parse_url(url):
    try:
        html_str = _parse_url(url)
    except:
        html_str = None
    return html_str
if __name__ == "__main__":
    url = 'http://www.baidu.com'
    print(parse_url(url))

ps：安装第三方模块的方法

• pip install
• 下载源码文件，进入解压后的目录：python setup.py install
• xxx.whl文件，安装方法：pip install xxx.whl

---

数据提取方法

基础知识

什么是数据提取

从响应中获取我们想要的数据

数据的分类

• 非结构话数据：html等

  • 处理方法：正则表达式、xpath

• 结构化数据：json、xml等

  • 处理方法：转化为python数据类型

主要是看结构清不清晰

数据提取之JSON

由于把json数据转化为python内奸数据类型很简单，所以爬虫缀，我们常使用能够返回json数据的url

JSON（JavaScript Object Notation）是一种轻量级的数据交换格式，它使得人们很容易进行阅读和编写 。同时也方便了机器进行解析和生成，适用于进行数据交换的场景，比如网站前后台间的数据交换

Q：哪里能够找到返回json的url呢？

• 使用chrome切换到手机页面
• 抓包手机app的软件

在这里插入图片描述

json.loads与json.dumps

"""
1. json.loads   能够把json字符串转换成python类型
2. json.dumps   能够把python类型转换为json字符串，当我们把数据保存问文本的时候常常需要这么做，如果要使其显示中文，可以使用参数：ensure_ascii=False；还使用使用参数：indent=2，使下一级相对上一级有两个空格的缩进
"""

使用json的注意点：

• json中的引号都是双引号；

  • 如果不是双引号

    • eval：能实现简单的字符串和python类型的转化
    • replace：把单引号替换为双引号

• 往一个文件中写如多个json串，不再是一个json串

  • 可以一行写一个json串，按照行来读取

json.load与json.dump

类文件对象：具有read和write方法的对象就是类文件对象，比如：f = open('a.txt','r')，f就是类文件对象（fp）

"""
1. json.load(类文件对象) #类型为dict
2. json.dump(python类型, 类文件对象)   #把python类型放入类文件对象中，也可以使用ensure_ascii和indent参数
"""

json在数据交换中起到了一个载体的作用，承载着相互传递的数据

在这里插入图片描述

案例：爬取豆瓣

import requests
from pprint import pprint   #pprint：pretty print，实现美化输出
import json

from retrying import retry

url = 'https://m.douban.com/rexxar/api/v2/skynet/playlists?from_rexxar=true&for_mobile=1'

headers = {
    'User-Agent': 'Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Mobile Safari/537.36',
    # 'Sec-Fetch-Mode': 'cors'
    'Referer': 'https://m.douban.com/movie/beta'
    #在本次爬取过程中，必须加上Referer才行
}
@retry(stop_max_attempt_number=3)
def parse_url(url):
    r = requests.get(url,headers=headers, timeout=10)
    assert r.status_code == 200
    return r.content.decode()
    
resp_html = parse_url(url)
p_resp = json.loads(resp_html)
pprint(p_resp)
with open('douban.json','w', encoding='utf-8') as f:
    f.write(json.dumps(p_resp, indent=2, ensure_ascii=False))

douban.json中的部分内容如下：

在这里插入图片描述

案例：爬取36kr

"""爬取36kr"""
import requests,json
from pprint import pprint
import re
url = 'https://36kr.com/'

headers = {
    'User-Agent':'Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Mobile Safari/537.36'
}
r = requests.get(url=url, headers=headers,timeout=3)
html_str = r.content.decode()
reg = '(.*?)'    #新闻的标题是直接在html中的
ret = re.findall(reg, html_str)
pprint(ret)

部分输出结果如下：

在这里插入图片描述

爬虫思路总结

• 通常，我们访问某个网站时，得到的是其主页的url
• 得到了主页的url后，观察我们所需要的数据是否在主页对应的响应中，如果在，直接利用主页的url爬取
• 如果不在主页的url中，查找我们需要的数据，得到其对应url，用该url进行数据的爬取
• 如果相应数据不是在html中，而是json中，用json.loads对数据进行处理

---

正则表达式复习

所谓正则表达式，即：事先定义好一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤

常用的正则表达式的方法有

• re.compile：编译
• pattern.math：从头找一个
• pattern.search：找一个
• pattern.findall：找所以
• pattern.sub：替换

在这里插入图片描述

说明：

• .的Dotall即模式即是在匹配时加上re.Dotall参数，或者re.S，使.能够匹配任意字符

• 记忆：d：digit；s：space

• sub的使用，re.sub(reg, new_str, old_str)，将匹配到的内容替换为new_str

• re.findall('a(.*)b', 'str')，能够返回括号中的内容，括号前后的内容起到定位和过滤的效果

• r'a\nb' 可以匹配'a\nb'；r'a\nb'而不能匹配'a\nb'，r可以忽略转义符号带来的影响，待匹配的字符串里面有 几个\，正则表达式里面也写几个\即可

• compile的作用

  • 将对应正则表达式能够匹配到的内容放到内存中去，加快匹配的速度
  • 使用方法：re.compile(reg)

• compile和sub的结合使用

  b = hello1world2
  p = re.compile('\d')
  p.findall(b)
  p.sub('_',b)    #将b中的所有数字替换为下划线
  

  ps：如果是对.进行编译，若想使其能够匹配换行符等，则re.S需要加在编译的使用，而不是匹配的时候

贪婪模式与非贪婪模式

• 非贪婪模式：.*?或者.+?
• 贪婪模式：.*或者.+

---

XPATH和lXML

基础知识

lxml是一款高性能的python HTML/XML解析器，利用xpath，我们可以快速的定位特定元素以及获取节点信息

什么是xpath

xpath（XML Path Language）是一门在HTML/XML文档中查找信息的语言(既然是一种语言，就有自己的语法)，克用来在html/xml中对元素和属性进行遍历

W3School官方文档：http://www.w3school.com.cn/xpath/index.asp

xml与html对比

在这里插入图片描述

节点的概念：每个xml标签都称之为节点，比如下图中的、