Python3使用requests模块完成GET、POST代理、自定义header、自定义cookie

1.1 适用版本
适用于python2.6、python2.7、python3.4及以上版本,参见官方说明。

我这里使用的是当前最新的python3.7。
1.2 安装requests模块

pip install pipenv
pipenv install requests

2.1 引用requests模块

import requests

2.2 get请求

import requests
url='https://www.baidu.com'
r = requests.get(url,verify=False)
print(r.status_code)

2.3 post请求

import requests

url='https://www.baidu.com'
data_post='just put your data and use original format'
r = requests.post(url,data=data_post,verify=False)
print(r.status_code)

2.4 使用代理
复制代码

import requests

url='http://docs.python-requests.org/en/master/'
proxies={
    'http':'127.0.0.1:8080',
    'https':'127.0.0.1:8080'
}
r = requests.get(url,proxies=proxies)
print(r.status_code)

2.5 自定义header
复制代码

import requests

url='http://docs.python-requests.org/en/master/'
headers={
    'User-Agent':'self-defind-user-agent',
    'Cookie':'name=self-define-cookies-in header'
}
r = requests.get(url,headers=headers)
print(r.status_code)

2.6 自定义Cookie
实验发现如果自定义header中定义了cookies那么此处设置的cookies不生效

复制代码

import requests

url='http://docs.python-requests.org/en/master/'
cookies={'name1':'cookie1','name2':'cookies2'}
#cookies=dict(name1='cookie1',name2='cookies2')
r = requests.get(url,cookies=cookies)
print(r.status_code)

你可能感兴趣的:(爬虫)