Python爬虫——Urllib

Python爬虫——Urllib

• 爬虫小白
• 爬虫语法
• 爬虫技术

Urllib

1、什么是互联网爬虫

• 通过一个程序，根据url进行爬取网页，获取游泳信息
• 通过程序模拟浏览器，去向服务器发起请求，获取响应信息

2、爬虫核心

1. 爬取网页：爬取整个网页，包含了网页中所有内容
2. 解析数据：将网页中得到的数据进行解析
3. 难点：爬虫和反爬虫之间的博弈

3、爬虫用途

• 数据分析/人工数据集
• 社交软件冷启动
• 舆情监控
• 竞争对手监控

4、爬虫分类

4.1 通用爬虫

• 实例
  • 百度、360、google、sougo等搜索引擎
• 功能
  • 访问网页->抓取数据

**注意：**通用爬虫不是我们关注的重点。

4.2 聚焦爬虫

• 功能
  • 根据需求，实现爬虫程序，抓取需要的数据
• 设计思路
  1. 确定要爬取的url
     1. 如何获取url
  2. 模拟浏览器通过http协议访问url，获取服务器返回的html代码
     1. 如何访问
  3. 解析html字符串（根据一定规则提取需要的数据）
     1. 如何解析

5、反爬手段

5.1 User-Agent

User-Agent中文名为用户代理，简称UA，它是一个特殊字符串头，使得服务器能够识别客户使用的操作系统及版本、CPU类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等。

5.2 代理IP

• 什么是高匿名、匿名和透明代理？
  1. 使用透明代理：对方服务器可以知道你使用了代理，并且也知道你的真实IP
  2. 使用匿名代理：对方服务器可以知道你使用了代理，但不知道你的真实IP
  3. 使用高匿名代理：对方服务器不知道你使用了代理，更不知道你的真实IP

5.3 验证码访问

• 打码平台
  • 云打码平台

5.4 动态加载网页，网站返回的是js数据，并不是网页的真实数据

• selenium驱动真实的浏览器发送请求

5.4 数据加密

• 分析js代码

6、urllib库使用

6.1 urllib基本使用

# -*- coding: utf-8 -*-
# @Time: 2022/9/24 0024 9:47
# @Author: Wang
# @File: 01_urllib_基本使用.py

# 使用urllib来获取百度首页的源码
import urllib.request

# （1）定义一个url，就是你要访问的地址
url = 'http://www.baidu.com'

# （2）模拟浏览器向服务器发送请求
response = urllib.request.urlopen(url=url)

# （3）获取响应的页面源码
# read方法：返回的是字节形式的二进制数据
# 我们要将二进制的数据转换为字符串
# 二进制->字符串的动作：解码 decode('编码的格式‘)
content = response.read().decode('utf-8')

# （4）打印数据
print(content)

6.2 urllib的1个类型6个方法

# -*- coding: utf-8 -*-
# @Time: 2022/9/24 0024 10:02
# @Author: Wang
# @File: 02_urllib_1个类型和6个方法.py

import urllib.request

url = 'http://www.baidu.com'

# 模拟浏览器向服务器发送请求
response = urllib.request.urlopen(url)

# 1个类型和6个方法
# response是HTTPResponse的类型
# print(type(response))

# 按照一个字节一个字节的去读
# content = response.read()
# print(content)

# 返回多少个字节
# content = response.read(5)
# print(content)

# 读取一行
# content = response.readline()
# print(content)

# 读取所有行
# content = response.readlines()
# print(content)

# 状态码
print(response.getcode())  # 200

# 请求url
print(response.geturl())  # http://www.baidu.com

# 状态信息
print(response.getheaders())

# 1个类型是HTTPResponse
# 6个方法 read readline readlines getcode geturl getheaders

6.3 urllib下载

下载网页

import urllib.request

# 下载网页
url_page = 'http://www.baidu.com'

# url代表的是下载的路径 filename文件名
# 在python中，可以写变量的名字，也可以直接写值
urllib.request.urlretrieve(url_page, 'baidu.html')

下载图片

# 下载图片
url_img = 'https://img2.baidu.com/it/u=1390544076,2637920000&fm=253&fmt=auto&app=138&f=JPEG?w=500&h=625'

urllib.request.urlretrieve(url_img, 'lisa.jpg')

下载视频

# 下载视频
url_vidio = 'https://vd2.bdstatic.com/mda-jmki3yf92d7w4ft9/v1-cae/sc/mda-jmki3yf92d7w4ft9.mp4?v_from_s=hkapp-haokan-hbf&auth_key=1664077962-0-0-93246b00edbdd7bda4482e4bbd5bc4d1&bcevod_channel=searchbox_feed&pd=1&cd=0&pt=3&logid=1362660174&vid=5104542693201134340&abtest=&klogid=1362660174'

urllib.request.urlretrieve(url_vidio, 'lisa.mp4')

7、请求对象的定制

UA反爬

# -*- coding: utf-8 -*-
# @Time: 2022/9/25 0025 11:32
# @Author: Wang
# @File: 04_urllib_请求对象的控制.py

import urllib.request

url = 'https://www.baidu.com'

headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36'
}

# 因为urlopen方法中不能存储字典 所以headers不能传递出去

# url的组成
# http/https   www.baidu.com   80/443   s   wd=周杰伦
#    协议            主机        端口号   路径    参数
# http   80
# https   443
# mysql   3306

# 因为参数顺序的问题 不能直接写url 和 headers
request = urllib.request.Request(url=url, headers=headers)

response = urllib.request.urlopen(request)

content = response.read().decode('utf-8')

print(content)

8、编解码

urllib.parse.quote(‘杜兰特’)

直接访问https://www.baidu.com/s?wd=杜兰特会报错，无法识别汉字，所以需要通过quote把汉字转换为能识别的编码

# -*- coding: utf-8 -*-
# @Time: 2022/9/25 0025 11:50
# @Author: Wang
# @File: 05_urllib_get请求的quote方法.py

import urllib.request
import urllib.parse

# url = 'https://www.baidu.com/s?wd=%E6%9D%9C%E5%85%B0%E7%89%B9'

# 获取https://www.baidu.com/s?wd=杜兰特的网页源码

url = 'https://www.baidu.com/s?wd='

# 请求对象的定制 是为了解决反爬的第一种手段
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36'
}

# 将杜兰特三个字变成unicode编码的格式
# 我们需要依赖于urllib.parse
name = urllib.parse.quote('杜兰特')
print(name)  # %E6%9D%9C%E5%85%B0%E7%89%B9

# 请求对象的定制
request = urllib.request.Request(url=url+name, headers=headers)

# 模拟浏览器向服务器发送请求
response = urllib.request.urlopen(request)

# 获取响应的内容
content = response.read().decode('utf-8')

print(content)

9、urlencode

# -*- coding: utf-8 -*-
# @Time: 2022/9/27 0027 10:48
# @Author: Wang
# @File: 06_urllib_get请求的urlencode.py

# https://www.baidu.com/s?wd=周杰伦&sex=男

import urllib.request
import urllib.parse

data = {
    'wd': '周杰伦',
    'sex': '男'
}

a = urllib.parse.urlencode(data)

print(a)  # wd=%E5%91%A8%E6%9D%B0%E4%BC%A6&sex=%E7%94%B7

base_url = 'https://www.baidu.com/s?'

data = {
    'wd': '周杰伦',
    'sex': '男',
    'location': '中国台湾省'
}

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36'
}

new_data = urllib.parse.urlencode(data)

url = base_url + new_data

print(url)  # https://www.baidu.com/s?wd=%E5%91%A8%E6%9D%B0%E4%BC%A6&sex=%E7%94%B7&location=%E4%B8%AD%E5%9B%BD%E5%8F%B0%E6%B9%BE%E7%9C%81

request = urllib.request.Request(url=url, headers=headers)

response = urllib.request.urlopen(request)

content = response.read().decode('utf-8')

print(content)

10、post请求百度翻译

• 注意：

  • post请求的参数，不会拼接在url的后面的，而是需要放在请求对象定制的参数中

  • post请求的参数 必须要进行编码

  • 编码之后，必须调用encode()方法

import urllib.request
import urllib.parse

url = 'https://fanyi.baidu.com/sug'

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36'
}

data = {
    'kw': 'spider'
}

# post请求的参数 必须要进行编码
data = urllib.parse.urlencode(data).encode('utf-8')

print(data)  # b'kw=spider'

# post请求的参数，不会拼接在url的后面的，而是需要放在请求对象定制的参数中
# post请求的参数 必须要进行编码
request = urllib.request.Request(url=url, data=data, headers=headers)

response = urllib.request.urlopen(request)

content = response.read().decode('utf-8')

print(content)

obj = json.loads(content)

print(obj)

打印结果：

{"errno":0,"data":[{"k":"spider","v":"n. \u8718\u86db; \u661f\u5f62\u8f6e\uff0c\u5341\u5b57\u53c9; \u5e26\u67c4\u4e09\u811a\u5e73\u5e95\u9505; \u4e09\u811a\u67b6"},{"k":"Spider","v":"[\u7535\u5f71]\u8718\u86db"},{"k":"SPIDER","v":"abbr. SEMATECH process induced damage effect revea"},{"k":"spiders","v":"n. \u8718\u86db( spider\u7684\u540d\u8bcd\u590d\u6570 )"},{"k":"spidery","v":"adj. \u50cf\u8718\u86db\u817f\u4e00\u822c\u7ec6\u957f\u7684; \u8c61\u8718\u86db\u7f51\u7684\uff0c\u5341\u5206\u7cbe\u81f4\u7684"}]}
{'errno': 0, 'data': [{'k': 'spider', 'v': 'n. 蜘蛛; 星形轮，十字叉; 带柄三脚平底锅; 三脚架'}, {'k': 'Spider', 'v': '[电影]蜘蛛'}, {'k': 'SPIDER', 'v': 'abbr. SEMATECH process induced damage effect revea'}, {'k': 'spiders', 'v': 'n. 蜘蛛( spider的名词复数 )'}, {'k': 'spidery', 'v': 'adj. 像蜘蛛腿一般细长的; 象蜘蛛网的，十分精致的'}]}