requests请求方式
get请求
requests.get()
post请求
requests.post()
根据浏览器的Request Method字段来确定请求方式
requests请求参数
url
请求网址
headers
传递请求头部信息
data
传递数据信息 一般用于post请求
cookies
传递cookies信息
proxies
传递代理信息
timeout
设置超时
timeout=3
response响应
查看返回数据
response.text
根据返回体内容自动进行二进制数据转换
response.content
接受是二进制数据，需要手动转换
decode（） 默认是utf-8格式
查看响应状态
response.status_code
查看请求头部信息
response.request.header
查看响应头部信息
response.header
查看编码格式
response.encoding
模块
json
转换json数据为python数据类型
json.loads(json_str)
logging
写错误日志
importlogging
#创建一个logging的实例logger
logger=logging.getLogger('Richard')
#设定全局日志级别为DEBUG
logger.setLevel(logging.INFO)
#创建一个屏幕的handler，并且设定级别为DEBUG
ch=logging.StreamHandler()
ch.setLevel(logging.DEBUG)
#创建一个日志文件的handler，并且设定级别为DEBUG
fh=logging.FileHandler("access.log")
fh.setLevel(logging.INFO)
#设置日志的格式
formatter=logging.Formatter("%(asctime)s - %(name)s - %(levelname)s - %(message)s")
#add formatter to ch and fh
ch.setFormatter(formatter)
fh.setFormatter(formatter)
#add ch and fh to logger
logger.addHandler(ch)
logger.addHandler(fh)
#'application' code
logger.debug("debug message")
logger.info("info message")
logger.warning("warn message")
logger.error("error message")
logger.critical("crititcal message")
retrying
控制请求次数，一般应用于请求函数
fromretryingimportretry
@retry(stop_max_attempt_number=3)# 控制请求次数
defparse(self):
print(1111)
r=requests.get(self.url,headers=self.headers,proxies=self.proxies,timeout=2)
print(r.content.decode())
错误处理
try:
代码
assert判断条件
exceptExceptionase：
print(e)# 打印异常内容
其他操作
反爬处理
使用代理
使用random获取随机代理ip
importrandom# 产生随机数
proxies_list=[{'http':'http://47.91.19.8:8080'},{'http':'http://47.91.139.78:8080'},{'http':'http://47.91.19.78:80'},{'http':'http://147.99.139.78:8080'}]
# 第一种方式
a=proxies_list[random.randint(0,len(proxies_list)-1)]
print(a)
# 第二种方式
b=random.choice(proxies_list)
print(b)
使用随机User-Agent
和使用随机ip的方式一样
减少请求次数
sleep（）
fromtimeimportsleep
sleep(3)