Python爬虫请求头、请求代理以及cookie操作

·爬虫程序urllib2模块底层操作；

·请求头的设置和添加；

·请求代理的种类和类型；

·关于cookie的操作（手动添加/程序自动获取）

一、爬虫底层操作和请求头的设置

1.demo01_爬虫底层操作

虽然urllib2模块是爬虫的底层操作，但并不是程序的底层操作，在其内部的urlopen函数也是有自己封装的内容，实则参数为一个request即请求对象。

 

# -*- coding:utf-8 -*-
# 引入需要的模块
import urllib2

# 定义url
url='https://www.taobao.com'

# 根据url构建请求对象
request=urllib2.Request(url)

# 使用urllib2的urlopen函数发送请求对象
response=urllib2.urlopen(request)

print response.read()

2.demo02_请求头的设置

客户端在浏览器发送请求给服务器时，会携带请求头，在请求头中有一个User-Agent属性.

User-Agent:用户代理 User Agent，是指浏览器,它的信息包括硬件平台、系统软件、应用软件和用户个人偏好。在X.400电子系统中，用户代理是一种对数据打包、创造分组头，以及编址、传递消息的部件。用户代理并不是仅指浏览器，还包括搜索引擎。

User-Agent其实就是代表用户访问服务器数据的工具，一般情况下，User-Agent是浏览器发起请求时，请求头中包含的数据，主要描述了发送请求的浏览器的版本及内核，操作信息内容等。

①请求头中的数据可以被重新设置。②请求头中可以字典的形式传送自定义数据。

了解都有哪些User-agent

设置请求头

Mozilla/5.0(Macintosh;U;IntelMacOSX10_6_8;en-us)AppleWebKit/534.50(KHTML,likeGecko)Version/5.1Safari/534.50

Mozilla/5.0(Windows;U;WindowsNT6.1;en-us)AppleWebKit/534.50(KHTML,likeGecko)Version/5.1Safari/534.50

Mozilla/5.0(compatible;MSIE9.0;WindowsNT6.1;Trident/5.0;

Mozilla/4.0(compatible;MSIE8.0;WindowsNT6.0;Trident/4.0)

Mozilla/4.0(compatible;MSIE7.0;WindowsNT6.0)

Mozilla/4.0(compatible;MSIE6.0;WindowsNT5.1)

Mozilla/5.0(WindowsNT6.1;rv:2.0.1)Gecko/20100101Firefox/4.0.1

Opera/9.80(Macintosh;IntelMacOSX10.6.8;U;en)Presto/2.8.131Version/11.11

Opera/9.80(WindowsNT6.1;U;en)Presto/2.8.131Version/11.11

Mozilla/5.0(Macintosh;IntelMacOSX10_7_0)AppleWebKit/535.11(KHTML,likeGecko)Chrome/17.0.963.56Safari/535.11

Mozilla/4.0(compatible;MSIE7.0;WindowsNT5.1;Maxthon2.0)

Mozilla/4.0(compatible;MSIE7.0;WindowsNT5.1;TencentTraveler4.0)

Mozilla/4.0(compatible;MSIE7.0;WindowsNT5.1)

Mozilla/4.0(compatible;MSIE7.0;WindowsNT5.1;TheWorld)

Mozilla/4.0(compatible;MSIE7.0;WindowsNT5.1;Trident/4.0;SE2.XMetaSr1.0;SE2.XMetaSr1.0;.NETCLR2.0.50727;SE2.XMetaSr1.0)

Mozilla/4.0(compatible;MSIE7.0;WindowsNT5.1;360SE)

 

 

 

# -*- coding:utf-8 -*-
# 引入需要的模块
import urllib2
import random

# 定义url
url = 'https://www.taobao.com'
# 多个user_agent列表
ua = ['Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; 360SE)',
      'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SE 2.X MetaSr 1.0; SE 2.X MetaSr 1.0; .NET CLR 2.0.50727; SE 2.X MetaSr 1.0)',
      'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11']

# 随机选取一个user_agent
user_agent = random.choice(ua)
# 定义请求头
my_header = {'User-agent': user_agent}


# 或者使用函数为请求头增加数据
# request=urllib2.Request(url)
# request.add_header('header',my_header)
# 根据url构建请求对象，并设置请求头(设置请求头信息，就是设置浏览器版本和内核信息，让爬虫程序伪装成客户端浏览器)
request = urllib2.Request(url, headers=my_header)

# 使用urllib2的urlopen函数发送请求对象
response = urllib2.urlopen(request)

print response.read()

 

 

二、请求方式

1.get请求方式：访问百度搜索

一般情况下都是在Url地址中直接拼接查询字符串的get参数，完成数据的操作

 

注意：url地址中的中文，在时下较新的浏览器中可以正常处理，但是不一定兼容版本较旧的浏览器，中文的处理一定要进行编码操作

通过urllib.urlencode()的方式，将一个字典数据编辑成k=v形式的数据作为参数拼接给url地址

# -*- coding:utf-8 -*-

'''
get方式访问百度搜索
'''
# 引入需要的模块
import urllib2
import urllib
import random


# 多个user_agent列表
ua = ['Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; 360SE)',
      'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SE 2.X MetaSr 1.0; SE 2.X MetaSr 1.0; .NET CLR 2.0.50727; SE 2.X MetaSr 1.0)',
      'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11']

# 随机选取一个user_agent
user_agent = random.choice(ua)
# 定义请求头
my_header = {'User-agent': user_agent}
# 定义url,根据抓包工具分析得到的访问路由，由于参可变，所以后面以拼接的方式将参数拼接上来
url = 'https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=0&rsv_idx=1&tn=baidu&'
get_params=raw_input('请输入要搜索的内容:')
# kw='',即浏览器中url路径参数形式
data={'wd':get_params}
# 上面data为字典形式，通过urllib模块的urlencode函数可以将输入的中文编码，并将字典形式转换为k=v，
# 便于在url中显示，以获取数据
data=urllib.urlencode(data)
# 将访问路由url的固定部分（url）和可变参数（data）拼接成完成的full_url
full_url=url+data

# 根据url和请求头创建一个请求对象
request=urllib2.Request(full_url,headers=my_header)
response = urllib2.urlopen(request)
content=response.read()
with open('qiku.html','w') as f:
    f.write(content)

print (content)

2.post方式访问有道翻译

1. urllib2发送post请求

定义发送的数据

form_data = {}

将发送的数据转换成字符串编码

data = urllib.urlencode(form_data)

构建Request对象时，如果给data参数赋值，默认发送POST请求

request = urllib2.Request(url, data=data)

urllib2.urlopen(request)# 发送出去的就是POST请求

 

发送POST请求以及POST请求附带的参数

 

2. 反[反爬虫]操作

l 确认目标url地址的数据，执行了反爬虫机制！

通过抓包工具，得到目标url地址的具体访问路径Path以及附带的参数，然后将这些数据直接在爬虫程序中进行赋值添加，如果此时访问失败，目标url地址的数据可能执行了反爬虫机制！如~有道在线翻译~我们将所有的请求数据原封不动的添加到爬虫程序中，但是得到了错误的结果：{errorCode:50}，有道在线翻译执行了反爬虫机制

l 反[反爬虫]步骤

分析请求中的数据

追踪数据的来源

伪造数据

反机制成功！

 

# -*- coding:utf-8 -*-
'''
访问url:http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule
请求参数：
    i hello
    from AUTO
    to AUTO
    smartresult dict
    client fanyideskweb
    salt 1515466801319
    sign 78f918a6eb55b77d633cba89bd8385da
    doctype json
    version 2.1
    keyfrom fanyi.web
    action FY_BY_REALTIME
    typoResult false
'''
# 引入需要的模块
import urllib2
import urllib
import random




#######################################################################
import time
E = "fanyideskweb"
# salt盐值
r = str(time.time()*1000 + random.randint(1,10))
# 确定翻译的数据
n = raw_input("请输入要翻译的词语：")
# 确定加密的混淆吗
O = "aNPG!!u6sesA>hBAW1@(-"
# 确定sign参数
import hashlib
sign = hashlib.md5(E + n + r + O).hexdigest()


# 设置有道在线翻译的请求头
headers = {
    #"Host": "fanyi.youdao.com",
    #"Connection": "keep-alive",
    #"Content-Length": "200",
    #"Accept": "application/json, text/javascript, */*; q=0.01",
    #"Origin": "http://fanyi.youdao.com",
    #"X-Requested-With": "XMLHttpRequest",
    #"Content-Type": "application/x-www-form-urlencoded; charset=UTF-8",
    "Referer": "http://fanyi.youdao.com/",
    # "Accept-Encoding": "gzip, deflate",
    #"Accept-Language": "zh-CN,zh;q=0.8",
    "Cookie": "OUTFOX_SEARCH_USER_ID_NCOO=2075764580.1728754; [email protected]; JSESSIONID=aaaxakcpWa-oo8wK72ydw; fanyi-ad-id=39535; fanyi-ad-closed=1; ___rl__test__cookies=1515468614442i=hell&from=AUTO&to=AUTO&smartresult=dict&client=fanyideskweb&salt=1515468614446&sign=710df1dcc70f91c1b04e795a34704c8e&doctype=json&version=2.1&keyfrom=fanyi.web&action=FY_BY_REALTIME&typoResult=false"
}
#######################################################################


# 定义ua
ua = [
    "Mozilla/5.0(Macintosh;U;IntelMacOSX10_6_8;en-us)AppleWebKit/534.50(KHTML,likeGecko)Version/5.1Safari/534.50",
    "Mozilla/5.0(Windows;U;WindowsNT6.1;en-us)AppleWebKit/534.50(KHTML,likeGecko)Version/5.1Safari/534.50",
    "Mozilla/5.0(compatible;MSIE9.0;WindowsNT6.1;Trident/5.0;",
    "Mozilla/4.0(compatible;MSIE8.0;WindowsNT6.0;Trident/4.0)",
    "Mozilla/4.0(compatible;MSIE7.0;WindowsNT6.0)",
]
# 随机获取一个ua
user_agent = random.choice(ua)


# 定义url地址
url = "http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule"


# 定义表单数据
form_data = {
    "i": n,# 要翻译的词语
    "from": "AUTO", # 词语的翻译之前的语言
    "to": "AUTO", # 词语翻译之后的语言
    "smartresult": "dict", # 数据类型
    "client": "fanyideskweb", # 客户端标识
    "salt": r, # ~~~~可能是~~~时间
    "sign": sign,# ~~~~可能是~~~~md5
    "doctype": "json", # 数据类型
    "version": 2.1,# 版本号
    "keyfrom": "fanyi.web",# 关键字
    "action": "FY_BY_REALTIME",# 行为描述
    "typoResult": False # 结果类型
}
data = urllib.urlencode(form_data)


# 封装请求对象
request = urllib2.Request(url, data=data, headers=headers)
request.add_header("User-agent", user_agent)


# 发送请求获取响应数据
response = urllib2.urlopen(request)


# 打印展示数据
print(response.read())

 

3.爬取百度图片

确定目标地址[数据访问的真实路径path]

确定参数的含义[通过手工更新参数数据，确定参数的用途]

爬取百度图片页面中展示的图片列表[json字符串数据]【第一次爬取数据】

 

筛选图片链接[确定图片的规则(http:….jpg/.png)，正则表达式筛选目标数据]

img_re_list = re.findall(‘pattern’, content)

循环针对每个图片进行数据爬取【第二次循环爬取数据】

response = urllib2.urlopen(img_url) 

with->open() as f->f.write(response.read())

 

# -*- coding:utf-8 -*-
# 引入需要的模块
import urllib
import urllib2
import re

# 定义访问路由
url = 'https://image.baidu.com/search/acjson?'

# 定义请求头
my_header = {
    #'Host': 'image.baidu.com',
    #'Connection': 'keep-alive',
    #'Accept': 'text/plain, */*; q=0.01',
    #'X-Requested-With': 'XMLHttpRequest',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36',
    'Referer': 'https://image.baidu.com/search/index?tn=baiduimage&ipn=r&ct=201326592&cl=2&lm=-1&st=-1&fm=result&fr=&sf=1&fmq=1515495630056_R&pv=&ic=0&nc=1&z=&se=1&showtab=0&fb=0&width=&height=&face=0&istype=2&ie=utf-8&word=%E6%B8%85%E9%A3%8E',
    #'Accept-Encoding': 'gzip, deflate, br',
    #'Accept-Language': 'zh-CN,zh;q=0.9',
    'Cookie': 'BDqhfp=%E6%B8%85%E9%A3%8E%26%260-10-1undefined%26%26766%26%262; BAIDUID=01316FFFC8551DCE978112EC7D40746A:FG=1; BIDUPSID=01316FFFC8551DCE978112EC7D40746A; PSTM=1515224694; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598; BDRCVFR[X_XKQks0S63]=mk3SLVN4HKm; userFrom=www.so.com; firstShowTip=1; BDRCVFR[-pGxjrCMryR]=mk3SLVN4HKm; cleanHistoryStatus=0; BDRCVFR[dG2JNJb_ajR]=mk3SLVN4HKm; indexPageSugList=%5B%22%E6%B8%85%E9%A3%8E%22%2C%22%E5%94%AF%E7%BE%8E%22%2C%22%E4%BD%A0%22%2C%22%E5%8F%91%22%2C%22%E7%BE%8E%E5%A5%B3%22%2C%22%E5%94%AF%E7%BE%8E%E5%9B%BE%E7%89%87%E5%A4%A7%E5%85%A8%22%5D'
}

form_data={
    'tn':'resultjson_com',
    'ipn':'rj',
    'word':'清风',
    'pn':90,
    'rn':30,
}
form_data=urllib.urlencode(form_data)
# 定义请求对象
request = urllib2.Request(url+form_data, headers=my_header)

# 发送请求
response = urllib2.urlopen(request)

content = response.read()

url_list=re.findall('"thumbURL":"(.*?)"', content)
print(url_list)

for url in url_list:
    print("保存图片%s" % url)
    request = urllib2.Request(url, headers=my_header)
    response = urllib2.urlopen(request)
    img_url = url.replace("/", "_")
    with open('bd_img/' + img_url[-50:], "wb") as f:
        f.write(response.read())
    print("图片%s保存完成" % img_url)

 

三、自定义opener对象——爬虫底层操作对象

1.为什么要自定义opener对象

python内置模块提供了通用爬虫可以操作的Opener对象，但是如果一旦涉及到自定义的针对各种特定环境的操作，python内置的Opener对象就不能满足我们的需要了，例如客户端和服务器一直在做斗争的爬虫~发爬虫机制：

爬虫~反爬虫~服务器为反爬虫的变态做法：

1.封锁IP

对应策略：反[反爬虫(IP封锁)]：使用代理服务器(肉机)，如果使用代理服务器操作的情况下，python内置的opener对象就不能满足我们的需要了

2.需要会话跟踪才能访问的URL地址[session-cookie]

对应策略（对cookie的操作）：

①请求中包含cookie数据，可以手工抓包，将cookie数据直接添加到请求头中，实现模拟登陆的情况！手工操作cookie数据~如果服务器出现了即时cookie数据更新，手工操作cookie的的方式就不会太友好了！~python内置的opener对象，不能满足我们直接操作cookie的需求。

关于代理服务器：

代理服务器的类型: 透明代理：服务器能清楚的查看某个IP地址的客户端通过某个IP地址的代理服务器发送了代理请求 匿名代理：服务器能清楚的查看到某个IP地址的代理服务器发起了代理请求，但是查看不到是哪个具体的客户端 高匿代理：服务器分不清这次请求是否代理发送

常见的代理服务器： 免费：提供了代理ip地址和端口port可以免费使用，但是网速一般较慢，存活时间没有保障 收费：提供了代理ip地址和端口port，并且结合账号+密码登录之后才能连接使用，收费的代理~稳定、网速一般较快、动态IP地址跳跃等等

 

②在程序中对于cookie的操作，这就需要我们自定义opener对象，使用python内置了cookielib模块，可以针对请求cookie进行读写操作

实现在程序中自动获取cookie

CookieJar核心模块

FileCookieJar核心模块（继承自上面）

MozillaCookieJar核心模块（继承自上面）

cookie数据直接操作

cookie数据读写操作

2.简单的自定义opener对象的例子

# -*- coding:utf-8 -*-
'''
自定义opener对象的小程序,以爬取"https://www.taobao.com"为例
'''
# 引入需要的模块
import urllib2

# 定义访问路由
url='https://www.taobao.com'
# 定义请求头
my_header={'User-Agent':'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; 360SE)'}

# 根据请求地址，定义请求对象
request=urllib2.Request(url,headers=my_header)

# 创建一个自定义的handler对象，操作控制http的handler对象
http_handler=urllib2.HTTPHandler()

# 构建一个opener对象
http_opener=urllib2.build_opener(http_handler)

# 发送请求
response=http_opener.open(request)
print response.read()

 

# -*- coding:utf-8 -*-
'''
自定义opener对象的小程序,以爬取"https://www.taobao.com"为例
'''
# 引入需要的模块
import urllib2

# 定义访问路由
url='https://www.taobao.com'
# 定义请求头
my_header={'User-Agent':'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; 360SE)'}

# 根据请求地址，定义请求对象
request=urllib2.Request(url,headers=my_header)

# 创建一个自定义的handler对象，操作控制http的handler对象
http_handler=urllib2.HTTPHandler()

# 构建一个opener对象
http_opener=urllib2.build_opener(http_handler)

# 发送请求
response=http_opener.open(request)
print response.read()

 

3.创建可以操作代理服务器的opener对象

# -*- coding:utf-8 -*-
'''
创建可以操作代理服务器的开锁人（opener对象）
代理服务器包括收费代理和免费代理，分为透明、匿名和高匿三种不同程度和类型的代理，这里以免费代理为例。直接在网上搜索“免费代理”，可以搜到ip和端口
使用收费代理与免费代理相似，只是要加上登录名和密码

免费：提供了代理ip地址和端口port可以免费使用，但是网速一般较慢，存活时间没有保障
使用形式:"http":"ip地址:port端口"

收费：提供了代理ip地址和端口port，并且结合账号+密码登录之后才能连接使用，收费的代理~稳定、网速一般较快、动态IP地址跳跃等等
使用形式:"http":"账户名:密码@ip地址:port端口"
'''
# 引入需要的模块
import urllib2

# 定义访问的url地址
url = 'https://www.taobao.com'
# 定义请求头
my_header = {'User-Agent': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; 360SE)'}
# 根据定义的访问地址，创建请求对象
request = urllib2.Request(url, headers=my_header)
# 创建可以操作代理服务器的操作对象,这里ProxyHandler是操作代理服务器的操作对象，括号中可直接填写代理服务器的信息
proxy_handler=urllib2.ProxyHandler({"http":"110.73.8.153:8123"})
# proxy_handler = urllib2.ProxyHandler({"http": "admin:[email protected]:8123"})
# 根据代理服务器的操作对象，创建opener对象（开锁人）
proxy_opener=urllib2.build_opener(proxy_handler)
response=proxy_opener.open(request)
print response.read()

4.对于opener对象的重新定义，使用python内置的cookielib模块，测试学习程序对cookie的操作。

# -*-coding:utf-8 -*-
# 引入需要的模块
import urllib2
import cookielib


# 定义访问的url地址
url = 'https://www.taobao.com'
# 定义请求头
my_header = {'User-Agent': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; 360SE)'}

request=urllib2.Request(url,headers=my_header)
# 定义一个cookie核心对象
cookie=cookielib.CookieJar()
# 自定义一个handler对象,可以操作cookie
cookie_handler=urllib2.HTTPCookieProcessor(cookie)

# 定义opener
cookie_opener=urllib2.build_opener(cookie_handler)
# 发送请求
response=cookie_opener.open(request)

# 这是一个小程序，专门用于测试cookielib模块对于cookie数据的操作
# 重点不在于获取爬取的数据，而是在于cookie中的数据
for item in cookie:
    print("%s-%s" % (item.name, item.value))
    # "{} - {}".format("hello", "world")
    
    '''打印结果:thw-cn
    
    '''

# -*-coding:utf-8 -*-
# 引入需要的模块
import urllib2
import cookielib


# 定义访问的url地址
url = 'https://www.taobao.com'
# 定义请求头
my_header = {'User-Agent': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; 360SE)'}

request=urllib2.Request(url,headers=my_header)
# 定义一个cookie核心对象
cookie=cookielib.CookieJar()
# 自定义一个handler对象,可以操作cookie
cookie_handler=urllib2.HTTPCookieProcessor(cookie)

# 定义opener
cookie_opener=urllib2.build_opener(cookie_handler)
# 发送请求
response=cookie_opener.open(request)

# 这是一个小程序，专门用于测试cookielib模块对于cookie数据的操作
# 重点不在于获取爬取的数据，而是在于cookie中的数据
for item in cookie:
    print("%s-%s" % (item.name, item.value))
    # "{} - {}".format("hello", "world")
    
    '''打印结果:thw-cn
    
    '''

4.对于opener对象的重新定义，使用python内置的cookielib模块，完成程序对于cookie的操作（直接获取并保存）

# -*-coding:utf-8 -*-
# 引入需要的模块
import urllib2
import cookielib

# 定义访问的url地址
url = 'https://www.taobao.com'
# 定义请求头
my_header = {'User-Agent': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; 360SE)'}

# 定义请求对象
request=urllib2.Request(url,headers=my_header)
# 获取cookie对象,使用MozillaCookieJar可以直接定义将cookie保存所在的文件名及位置
cookie=cookielib.MozillaCookieJar("demo09.txt")
# 定义操作cookie的对象
cookie_handler=urllib2.HTTPCookieProcessor(cookie)
# 定义opener
cookie_opener=urllib2.build_opener(cookie_handler)
# 发送请求
response=cookie_opener.open(request)
# 保存cookie数据
cookie.save()


'''

文件demo09.txt的内容如下:
# Netscape HTTP Cookie File
# http://curl.haxx.se/rfc/cookie_spec.html
# This is a generated file!  Do not edit.

.taobao.com    TRUE   /  FALSE  1547039357 thw    cn

'''

5.对于opener对象的重新定义，使用python内置的cookielib模块，完成程序对于cookie的操作（直接操作使用上一步获取的cookie）

# -*-coding:utf-8 -*-
# 引入需要的模块
import urllib2
import cookielib

# 定义访问的url地址
url = 'https://www.taobao.com'
# 定义请求头
my_header = {'User-Agent': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; 360SE)'}

# 定义请求对象
request=urllib2.Request(url,headers=my_header)
# 获取cookie对象,使用MozillaCookieJar，若需要保存cookie数据，则括号中写文件名，若是获取cookie数据，则不写
cookie=cookielib.MozillaCookieJar()
# 下载cookie数据
cookie.load('demo09.txt')
# 创建Handler操作对象
cookie_handler = urllib2.HTTPCookieProcessor(cookie)
# 创建opener对象
cookie_opener = urllib2.build_opener(cookie_handler)

# 访问目标地址
response = cookie_opener.open(request)

print(response.read())