爬虫文档学习 xpath bs4 selenium scrapy...

爬虫

一、介绍

1、什么是爬虫

1.1 爬虫(Spider)的概念

爬虫用于爬取数据， 又称之为数据采集程序。

爬取的数据来源于网络，网络中的数据可以是由Web服务器（Nginx/Apache）、数据库服务器(MySQL、Redis)、索引库（ElastichSearch）、大数据（Hbase/Hive）、视频/图片库(FTP)、云存储等(OSS)提供的。

爬取的数据是公开的、非盈利的。

1.2 Python爬虫

- 使用Python编写的爬虫脚本(程序)
- 可以完成定时、定量、指定目标（Web站点）的数据爬取。
- 主要使用多（单）线程/进程、网络请求库、数据解析、数据存储、任务调度等相关技术。
- Python爬虫工程师，可以完成接口测试、功能性测试、性能测试和集成测试。

2、爬虫与Web后端服务之间的关系

爬虫使用网络请求库，相当于客户端请求， Web后端服务根据请求响应数据。

爬虫即:

- 指定URL
- 向Web服务器发起HTTP请求，
- 正确地接收响应数据，
- 然后根据数据的类型（Content-Type）进行数据的解析及存储。

爬虫程序在发起请求前，需要伪造浏览器(UA伪装)：

# UA：User-Agent（请求载体的身份标识）
# UA检测：门户网站的服务器会检测对应请求的载体身份标识，如果检测到请求的载体身份标识为某一款浏览器，
# 说明该请求是一个正常的请求。但是，如果检测到请求的载体身份标识不是基于某一款浏览器的，则表示该请求
# 为不正常的请求（爬虫），则服务器端就很有可能拒绝该次请求。

# UA伪装：让爬虫对应的请求载体身份标识伪装成某一款浏览器

然后再向服务器发起请求， 响应200的成功率高很多。

3、Python爬虫技术的相关库

网络请求：

• urllib： 内置
• requests / urllib3 ：第三方
• tornado client： 实现异步请求
• selenium(UI自动测试)/Splash(基于WebKit内核)：动态js渲染
• appium(手机App 的爬虫或UI测试)

数据解析：

• re正则
• xpath
• bs4
• json：RESTful接口数据

数据存储:

• pymysql
• mongodb
• elasticsearch: ES搜索引擎 （JavaScript：ECMAScript（ES脚本） + BOM + DOM）

多任务库：

• 多线程 (threading）、线程队列 queue
• 协程（asynio、 gevent/eventlet）

爬虫框架

• scrapy
• scrapy-redis 分布式（多机爬虫）

4、常见反爬虫的策略

• UA（User-Agent）策略
• 登录限制（Cookie/Token）策略
• 请求频次（IP代理）策略
• 验证码（图片-云打码，文字或物件图片点选、滑块）策略
• 动态js（Selenium/Splash/api接口）策略

二、爬虫库urllib【重要】

2.1、urllib库

from urllib.request import urlopen

# 发起网络请求
resp = urllopen('http://www.hao123.com')
assert resp.code == 200
print('请求成功')
# 保存请求的网页
# f 变量接收open()函数返回的对象的__enter__()返回结果
with open('a.html', 'wb') as f:
     f.write(resp.read())

2.1.1 urllib.request 模块

urlopen(url | request: Request, data=None) data是bytes类型

from urllib.request import urlopen  # 导入urllib库下的request的urlopen模块

• urlopen(url, data=None)可以直接发起url的请求, 如果data不为空时，则默认是POST请求，反之为GET请求。
• urlopen()返回是response响应对象

urlretrieve(url, filename) 下载url的资源到指定的文件

from urllib.request import urlretrieve, url2pathname
# url2pathname通过url生成本地路径
import hashlib
import os

# 下载图片
def download_img(url):
    # md5 生成文件名 + url获取文件的扩展名
    filename = hashlib.md5(url.encode('utf-8')).hexdigest() + os.path.splitext(url2pathname(url))[-1]
    urlretrieve(url, filename) # 保存文件图片

if __name__ == '__main__':
    url = 'http://xxx.xxx.xxx/1.png'
    # print(url2pathname(url))  # P:\xxx.xxx.xxx\1.png
    # print(os.path.splitext(url2pathname(url))[-1])  # 分割出 url文件扩展名 .png
    download_img('https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1598329718420&di=f35bcbfa8ce0d360f4ac5ee60efe0b39&imgtype=0&src=http%3A%2F%2Fe.hiphotos.baidu.com%2Fzhidao%2Fpic%2Fitem%2Fb3119313b07eca8031a31eeb902397dda1448313.jpg')

build_opener(*handlder) 构造浏览器对象

• opener.open(url|request, data=None) 发起请求

Request 构造请求的类

• 可以使用这个类来定制一个请求对象，来模拟浏览器登录

• Request 构造请求类:

  ​ Request(url, data=None,headers=None,method=None)

from urllib.request import Request # 导入urllib库下的request的Request模块
from collections import namedtuple

# 封装请求对象
request = Request(url, headers=default_headers) # 创建请求实例
resp:HTTPResponse = urlopen(request)  # 打开请求

HTTPHandler HTTP协议请求处理器

ProxyHandler(proxies={‘http’: ‘http://proxy_ip:port’}) 代理处理

HTTPCookieProcessor(CookieJar())

• http.cookiejar.CookieJar 类

2.1.2 urllib.parse

url 解析

from urllib.parse import quote, urlencode

• quote() 仅对中文字符串进行url编码(只针对一个汉字进行编码)；

• urlencode(query: dict) 将参数的字典中所有的values转成url编码，结果是key=value&key=value形式，即以 application/x-www-form-urlencoded作为url编码类型，可以针对多个参数进行编码)。

  【提示】

  • query: dict 参数加冒号，表示参数的数据类型
  • json上传数据时，Content-Type要设置为application/json类型
  • data 请求头的Content-Type默认类型是：application/x-www-form-urlencoded

2.1.3 response

from http.client import HTTPResponse   # 导入http.client库下的HTTPResponse模块

response:HTTPResponse = urlopen(url, timeout=30)   #  打开请求

• response.read()

  ​ 读取的是二进制数据，需要进行转码

  ​ 字节–>字符串，解码decode 【response.read().decode()】

  ​ 字符串–>字节，编码encode

• response.code/ response.status/response.getcode()

  ​ 获取响应状态码

• readline()

  ​ 读取当前行的数据-文本

• readlines()

  ​ 读取所有行数据-文本 (按行读取字节数据，返回list列表[b’’,b’’])

• geturl()

  ​ 请求的url

• headers/getheaders()/info()

  ​ 获取响应头

2.1.4 解决SSL问题

解决Python低版本对SSL证书的支持

import ssl # 导入ssl包
ssl._create_default_https_context = ssl._create_unverified_context # 请求前设置https上下文

2.2、示例

spider01.py

需求：利用http://hao123.com网页测试相应方法

from http.client import HTTPResponse, HTTPMessage
from urllib.request import urlopen, Request, urlretrieve

# 解决Python低版本对SSL证书的支持 3.7不用
import ssl
ssl._create_default_https_context = ssl._create_unverified_context

url = 'https://www.baidu.com'  # http+ssl证书 (Socket三次握手、SSL的Socket的三次握手)
url2 = 'http://hao123.com'     # HTTP的请求版本(HTTP/1.0、HTTP/1.1、HTTP、2.0)

# 发起HTTP的请求
# urlopen()默认请求的方法是GET，但data不为空时，则表示请求方式是POST
response:HTTPResponse = urlopen(url2, timeout=30)
print(type(response)) # 查看响应对象的类型
bytes = response.read()
# print(response.read().decode())  # 读取响应的字节数据并转成字符串
print(response.code, response.status, response.getcode()) # 获取响应状态码，
print(response.geturl()) # 响应成功的路径
print(response.headers)

print('*'*30)
print(response.info())

print('--'*30)
print(response.readlines())  # 按行读取字节数据，返回list列表[b'',b'']

spider02.py

import json
from urllib.request import urlopen, Request
from urllib.parse import quote, urlencode, urljoin

from http.client import HTTPResponse, HTTPMessage
from collections import namedtuple

# 声明不可修改的元组类： 可以修改属性名来访问不可变的属性
# resp = Response(text=, body=, charset=, ...)
Response = namedtuple('Response',('text','body','charset','mimetype','json','headers', 'status_code'))

default_headers = {
     
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:79.0) Gecko/20100101 Firefox/79.0'
}

def download(url,data=None,headers=None):
    if headers:
        default_headers.update(headers)

    # 基于Request类，封装请求对象
    request = Request(url, data=data, headers=default_headers)  # 如果修改全局变量，在修改行之前使用global关键字，如 global headers

    resp: HTTPResponse = urlopen(request)
    bytes = resp.read()  # 读取字节的响应数据

    # resp.headers -> HTTPMessage
    charset = resp.headers.get_content_charset() if resp.headers.get_content_charset() else 'utf-8'
    text = bytes.decode(charset)

    # 创建字典有哪些方式？？？
    params = {
     
        'body': bytes,
        'charset': charset,
        'mimetype': resp.headers.get_content_type(),
        'headers': dict(resp.headers),
        'text': text,
        'json': json.loads(text) if resp.headers.get_content_type() == 'application/json' else {
     },
        'status_code': resp.status
    }

    return Response(**params)

def test_hao123():
    resp = download('http://hao123.com')
    print(resp.status_code)
    print(resp.headers)
    print(resp.text)

def test_baidu():
    resp = download('https://www.baidu.com')
    print(resp.status_code)
    # print(resp.text)
    with open('baidu.html', 'w', encoding=resp.charset) as f:
        f.write(resp.text)

    print('file created')


def baidu_search(wd):
    # quote只针对单一的汉字进行编码（转义）
    # urlencode() 可以针对多个参数进行编码， 以字典的方式传参
    url = 'https://www.baidu.com/s?wd=%s' % quote(wd)  # escape
    headers = {
     
        'Cookie': 'BAIDUID=75523031597EAA3E8BB1A69893E941A3:FG=1; '
                 'BIDUPSID=287D2F5789E4D37673357E46D76A9234; '
                 'PSTM=1597633936; BD_UPN=13314752; '
            'COOKIE_SESSION=15827_2_6_6_7_8_0_1_5_4_268_2_21926_17_0_22_1598118126_1598257071_1598257049%7C'
                 '9%23865216_4_1598257049%7C2; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598;'
                 ' H_PS_645EC=2e46hskUSTamKGaU0Dz33sTXubuzMrp9hK4vtJVqscDTlEg6LOtPFshX9hc; '
                 'BDRCVFR[Fc9oatPmwxn]=srT4swvGNE6uzdhUL68mv3; BDRCVFR[gltLrB7qNCt]=mk3SLVN4HKm; '
                 'BDRCVFR[S4-dAuiWMmn]=I67x6TjHwwYf0; BD_HOME=1; delPer=0; BD_CK_SAM=1; '
                 'PSIN…V-oTH6aogfJ1O1b4WD4UoDdaEG0PSx8g0Kubrn8EogKKy2OTH9DF_2uxOjjg8UtVJeC6EG0Ptf8g0f5; '
                 'H_BDCLCKID_SF=JbAtoKD-JKvJfJjkM4rHqR_Lqxby26nCa6T9aJ5nJDoVSITkhM6Keb8sXN5aJxvC5b7PQbovQpP-HJ7wb-ndeqtT3priW43TMTc8Kl0MLpbtbb0xyn_VMM3beMnMBMn8teOnaITg3fAKftnOM46JehL3346-35543bRTLnLy5KJYMDFRDj0Wej33jaRybTjLHDJKWJbatjrjDCvvQxQcy4LdjG5m2lbifnTHVPJj2CoDhqnqbUJj3Cue3-Aq54RM5eLD2KjtJU3UMM5vQ-OHQfbQ0bbOqP-jW5TaQJuy3R7JOpvwDxnxy5FvQRPH-Rv92DQMVU52QqcqEIQHQT3m5-5bbN3ht6T2-DA_oC8bJKJP; shifen[185669144806_26252]=1598257070; BDSVRTM=212'
    }
    resp = download(url, headers)
    if resp.status_code == 200:
        with open('%s.html' % wd , 'w', encoding=resp.charset) as f:
            f.write(resp.text)

        print('Save %s.html File OK' % wd)


def baidu_fanyi(word):
    url = 'https://fanyi.baidu.com/sug' # post
    # urlencode 一次将多个参数进行转义（URL编码）
    data = urlencode({
     
        'kw': word
    })  # kw=%E4%BC%AF%E7%88%B5

    # 发起 post请求
    resp = download(url, data.encode('utf-8'))
    print(resp.status_code)
    print(resp.json)

def xjgg(page=1, page_size=20):
    print('--download page %s ---' % page)

    url ='http://www.ccgp-xinjiang.gov.cn/front/search/category'
    data = json.dumps({
     
        'categoryCode': "ZcyAnnouncement2",
        'pageNo': page,
        'pageSize': page_size,
        'utm': "sites_group_front.5b1ba037.0.0.3e2f7230e5f011ea817d43a31c8c15bd"
    })
    # post 请求，上传的数据是json格式的字符串
    resp = download(url, data.encode('utf-8'), headers={
     
       'Content-Type': 'application/json;charset=utf-8'
    })
    print(resp.status_code, resp.mimetype)
    print(resp.json)
    # 保存为json文件
    ret = []
    for item in resp.json['hits']['hits']:
        item['_source']['id'] = item['_id']
        item['_source']['url'] = urljoin('http://www.ccgp-xinjiang.gov.cn', item['_source']['url'])
        ret.append(item['_source'])

    with open('top_%s.json' % page, 'w', encoding=resp.charset) as f:
        json.dump(ret, f)

    if page < 10:
        xjgg(page+1)

if __name__ == '__main__':
    # test_hao123()
    # test_baidu()
    # baidu_search('基督山伯爵')
    # baidu_fanyi('雎')
    xjgg()

spider03.py

三、requests库

requests库也是一个网络请求库， 基于urllib和urllib3封装的便捷使用的网络请求库。

使用场景：

- 接口测试
- 封装基于RESTful的webserver操作，如ES搜索引擎(ElasticSearch)的SDK操作
- 第三方网络资源请求(ali云的短信验证码)
- 下载站点资源(图片、网页、音频和视频)

3.1 安装环境(库)

pip install requests -i https://mirrors.aliyun.com/pypi/simple

3.2 核心的函数

• requests.request() 所有请求方法的基本方法

  以下是request()方法的参数说明

  • method: str 指定请求方法， GET, POST, PUT, DELETE，OPTIONS,HEAD,

  • url: str 请求的资源接口（API），在RESTful规范中即是URI(统一资源标签识符)

  • params: dict ， 用于GET请求的查询参数(Query String params)；如：/s?wd=python3

  • data: dict , 用于POST/PUT/PATCH 请求的表单参数(Form Data) ；封装到body（请求体）中 请求头的Content-Type默认类型是：application/x-www-form-urlencoded。借助urllib.parse.urlencode()方法序列化。

  • json: dict 用于上传json数据的参数， 封装到body（请求体）中，请求头的Content-Type默认设置为application/json，借助json.dumps()将字典序列化，把对象序列化成json字符串。

  • files: dict, 结构 {‘name’: file-like-object | tuple}, 如果是tuple， 则有三种情况：

    • (‘filename’, file-like-object)，file-like-object理解为open()方法返回Stream流对象

    • (‘filename’, file-like-object, content_type) ，content_type表示打开文件的

      mimetype(image/png、image/gif、image/webp矢量图)

    • (‘filename’, file-like-object, content_type, custom-headers)

    指定files用于上传文件， 一般使用post请求，默认请求头的Content-Type为multipart/form-data类型。

  • headers/cookies ： dict

  • proxies: dict , 设置代理

  • auth: tuple , 用于授权的用户名和口令， 形式(‘username’, ‘pwd’)

• requests.get() 发起GET请求， 查询数据

  可用参数：

  • url
  • params 请求路径里带有参数时使用
  • json
  • headers/cookies/auth

  # 百度搜索
  import requests
  
  def search(wd):
      headers = {
         
          'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:79.0) Gecko/20100101 Firefox/79.0',
          'Cookies': 'BAIDUID=BB1900CD6732DD7E2D3AE34543595BDC:FG=1; BIDUPSID=BB1900CD6732DD7E94833ED9AE81FDDE; PSTM=1597146175; BDORZ=FFFB88E999055A3F8A630C64834BD6D0; BDRCVFR[Fc9oatPmwxn]=srT4swvGNE6uzdhUL68mv3; delPer=0; PSINO=1; H_PS_PSSID=1440_32621_32328_32348_32497_32481; BDRCVFR[dG2JNJb_ajR]=mk3SLVN4HKm; BDRCVFR[-pGxjrCMryR]=mk3SLVN4HKm'
      }
      resp = requests.get('http://www.baidu.com/s', params={
         
          'wd':wd
      }, headers=headers)
      print(resp.status_code)
      print(resp.text)
      with open('%s.html' % wd, 'wb') as f:
          f.write(resp.content)
          
  if __name__ == '__main__':
      search('python3.8')
  

• requests.post() 发起POST请求， 上传/添加数据

  可用参数：

  • url
  • data/files
  • json
  • headers/cookies/auth

  # 百度翻译
  import requests
  
  def fanyi(kw):
      url = 'https://fanyi.baidu.com/sug'
      resp = requests.post(url, data={
         
          'kw':kw
      })
  
      # response响应对象存在属性:status_code/headers/cookies/encode/text/content/json()
      print(resp.json())
     
  if __name__ == '__main__':
      fanyi('good')
  

• requests.put() 发起PUT请求， 修改或更新数据

• requests.patch() HTTP幂等性的问题，可能会出现重复处理， 不建议使用。用于更新数据

• requests.delete() 发起DELETE请求，删除数据

3.3 requests.Response

以上的请求方法返回的对象类型是Response， 对象常用的属性如下：

• status_code 响应状态码

• url 请求的url

• headers : dict 响应的头， 相对于urllib的响应对象的getheaders()，但不包含cookie。

• cookies： 可迭代的对象，元素是Cookie类对象（name, value, path）

• text : 响应的文本信息

• content: 响应的字节数据

• encoding: 响应数据的编码字符集， 如utf-8, gbk, gb2312

• json(): 如果响应数据类型为application/json，则将响应的数据进行反序化成python的list或dict对象。

  • 扩展-javascript的序列化和反序列化

    • JSON.stringify(obj) 序列化

    • JSON.parse(text) 反序列化

四、数据解析方式之re正则

字符的表示

• . 任意一个字符， 除了换行
• [a-f] 范围内的任意一个字符
• \w 字母、数字和下划线组成的任意的字符
• \W
• \d
• \D
• \s
• \S

量词（数量）表示

• * 0或多个
• + 1或多个
• ? 0 或 1 个
• {n} n 个
• {n,} 至少n个
• {n, m} n~m个

分组表示

• ( ) 普通的分组表示， 多个正则分组时， search().groups() 返回是元组

• (?P 字符+数量)带有名称的分组， 多个正则分组时，search().groupdict()返回是字典, 字典的key即是分组名。

Python中的正则模块

• re.compile() 一次生成正则对象，可以多次匹配查询
• re.match(正则对象， 字符串)
• re.search()
• re.findall()
• re.sub()
• re.split()

4.1 示例

糗事百科糗图爬取：

import requests
import re
import os

if __name__ == '__main__':
    headers = {
     
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36'
    }
    # 创建文件夹，保存所有图片
    if not os.path.exists('./qiutuLibs'):
       os.mkdir('./qiutuLibs')

    # 设置通用的url模板
    url = 'https://www.qiushibaike.com/imgrank/page/%d/'
    for pageNum in range(1,3):
        # 对应页码的url
        new_url = format(url%pageNum)

        # 使用通用爬虫对url对应的一整张页面进行爬取
        page_text = requests.get(url=new_url, headers=headers).text

        # 使用聚焦爬虫将页面中所有的糗图进行解析/提取
        ex = '
.*?'
        img_src_list = re.findall(ex,page_text,re.S)
        # print(img_src_list)
        for src in img_src_list:
            # 拼接处一个完整的路径
            src = 'https:'+ src
            # 请求到了图片的二进制数据
            img_data = requests.get(url=src, headers=headers).content
            # 生成图片名称
            img_name = src.split('/')[-1]
            # 图片存储的路径
            imgPath = './qiutuLibs/' + img_name
            with open(imgPath, 'wb') as fp:
                fp.write(img_data)
                print(img_name, '下载成功！！！')

五、BS4(BeatifulSoup)

5.1. 介绍

什么是BeatifulSoup
BeautifulSoup，和lxml一样，是一个html的解析器主要功能也是解析和提取数据
官网

https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html

优缺点:

效率没有lxml的效率高
接口设计人性化，使用方便

5.2. 使用

5.2.1. 数据解析原理

1、标签定位

2、提取标签、标签属性中存储的数据值

- bs4 数据解析的原理：
	- 1、实例化一个BeautifulSoup对象，并将页面源码数据加载到该对象中
	- 2、通过调用BeautifulSoup对象中相关的属性或者方法进行标签定位和数据提取

环境安装：

- pip install bs4
- pip install lxml(xpath中也要使用)

导入BeautifulSoup包：

from bs4 import BeautifulSoup

创建对象(对象实例化):

网上文件生成对象:soup = BeautifulSoup('网上下载的字符串', 'lxml')
本地文件生成对象:soup = BeautifulSoup(open('1.html'), 'lxml')

5.2.2. 数据解析的方法和属性

1. soup.tagname 返回的是html中第一次出现的tagname标签

2. soup.find():

   - find('tagName') == soup.div
   - 属性定位：
   	- soup.find('div', class_/id/attr='xxx')
   	- soup.find_all('tagName') 返回符合要求的所有标签(列表)
   

3. select:

   - select('某种选择器 (id,class,标签...选择器)') 返回的是一个列表
   - 层级选择器：
   	- soup.select('.xxx > ul > li > a'): > 表示的是一个层级(父子标签)
   	- soup.select('.xxx > ul a'): 空格表示的是多个层级(不是相邻的)
   

4. 获取标签之间的文本数据：

   - soup.a.text/string/get_text()
   	- text/get_text():可以获取某一个标签中所有的文本内容
   	- string：只可以获取该标签下面直系的文内容
   

5. 获取标签的属性值

   -soup.a['href']
   

5.2.3 案例

示例：

需求：爬取三国演义小说所有的章节标题和章节内容

#!/usr/bin/env python 
# -*- coding:utf-8 -*-
import requests
from bs4 import BeautifulSoup
#需求：爬取三国演义小说所有的章节标题和章节内容http://www.shicimingju.com/book/sanguoyanyi.html
if __name__ == "__main__":
    #对首页的页面数据进行爬取
    headers = {
     
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36'
    }
    url = 'http://www.shicimingju.com/book/sanguoyanyi.html'
    page_text = requests.get(url=url,headers=headers).text

    #在首页中解析出章节的标题和详情页的url
    #1.实例化BeautifulSoup对象，需要将页面源码数据加载到该对象中
    soup = BeautifulSoup(page_text,'lxml')
    #解析章节标题和详情页的url
    li_list = soup.select('.book-mulu > ul > li')
    fp = open('./sanguo.txt','w',encoding='utf-8')
    for li in li_list:
        title = li.a.string
        detail_url = 'http://www.shicimingju.com'+li.a['href']
        #对详情页发起请求，解析出章节内容
        detail_page_text = requests.get(url=detail_url,headers=headers).text
        #解析出详情页中相关的章节内容
        detail_soup = BeautifulSoup(detail_page_text,'lxml')
        div_tag = detail_soup.find('div',class_='chapter_content')
        #解析到了章节的内容
        content = div_tag.text
        fp.write(title+':'+content+'\n')
        print(title,'爬取成功！！！')

后期示例：

import requests
from bs4 import BeautifulSoup

from utils.ua_ import get_ua

def get(url, callback=None):
    headers = {
     
        'User-Agent': get_ua()
    }
    resp = requests.get(url, headers=headers, timeout=10)
    if resp.status_code == 200:
        resp.encoding = 'utf-8' if not resp.encoding else resp.encoding
        if callback is None:
            parse(url, resp.text)
        else:
            callback(url, resp.text)

def start_spider():
    get('http://www.qiushibaike.com/text')

def parse(url, html):
    # print(html)
    soup = BeautifulSoup(html, 'lxml')

    # 获取所有的文章：

    for article in soup.find_all('div', class_='article'):
        # article:  bs4.element.Tag类实例
        print(article.get('class'), type(article))
        img_src = 'https:'+article.find('img').get('src')
        # print(img_src)
        # 获取详情页面的URL
        info_url = 'http://www.qiushibaike.com'+article.find('a', class_="contentHerf").get('href')
        print(info_url)
        get(info_url, parse_content)  # 发起请求

    # 任务3：获取下一页的URL，并请求下一页
    # next_url = ''
    # get(next_url)

def parse_content(url, html):
    soup = BeautifulSoup(html, 'lxml')

    #select()方法返回是  实例，可以索引下标操作或迭代

    author_a = soup.select('.side-left-userinfo')[0]
    img_tag = author_a.find('img')
    author_img = 'https:' + img_tag.get('src')
    author_name = img_tag.get('alt')  # author_a.find('span').string  # .text / .get_text()
    content = soup.find('div', class_="content")
    item_pipeline(dict(author_img=author_img, name=author_name, content=content.text))

def item_pipeline(item):
    print(item)
    # 任务2：保存起来

if __name__ == '__main__':
    start_spider()

六、数据解析方式之xpath

xpath属于xml/html解析数据的一种方式， 基于元素（Element）的树形结构(Node > Element)。选择某一元素时，根据元素的路径选择，如 /html/head/title获取