requests请求，就是用python的requests模块模拟浏览器请求，返回html源码

模拟浏览器请求有两种，一种是不需要用户登录或者验证的请求，一种是需要用户登录或者验证的请求

一、不需要用户登录或者验证的请求

这种比较简单，直接利用requests模块发一个请求即可拿到html源码

#!/usr/bin/env python
# -*- coding:utf8 -*-
import requests     #导入模拟浏览器请求模块

http =requests.get(url="http://www.iqiyi.com/")     #发送http请求
http.encoding = "utf-8"                             #http请求编码
neir = http.text                                    #获取http字符串代码
print(neir)

得到html源码

在学习过程中有什么不懂得可以加我的
python学习交流扣扣qun，784758214
群里有不错的学习视频教程、开发工具与电子书籍。
与你分享python企业当下人才需求及怎么从零基础学习好python，和学习什么内容



抽屉新热榜-聚合每日热门、搞笑、有趣资讯

二、需要用户登录或者验证的请求

获取这种页面时，我们首先要了解整个登录过程，一般登录过程是，当用户第一次访问时，会自动在浏览器生成cookie文件，当用户输入登录信息后会携带着生成的cookie文件，如果登录信息正确会给这个cookie

授权，授权后以后访问需要登录的页面时携带授权后cookie即可

1、首先访问一下首页，然后查看是否有自动生成cookie

#!/usr/bin/env python
# -*- coding:utf8 -*-
import requests     #导入模拟浏览器请求模块

### 1、在没登录之前访问一下首页，获取cookie
i1 = requests.get(
    url="http://dig.chouti.com/",
    headers={'Referer': 'http://dig.chouti.com/'}
)
i1.encoding = "utf-8"                               #http请求编码
i1_cookie = i1.cookies.get_dict()
print(i1_cookie)                                    #返回获取到的cookie
#返回：{'JSESSIONID': 'aaaTztKP-KaGLbX-T6R0v', 'gpsd': 'c227f059746c839a28ab136060fe6ebe', 'route': 'f8b4f4a95eeeb2efcff5fd5e417b8319'}

可以看到生成了cookie，说明如果登陆信息正确，后台会给这里的cookie授权，以后访问需要登录的页面携带授权后的cookie即可

2、让程序自动去登录授权cookie

首先我们用浏览器访问登录页面，随便乱输入一下登录密码和账号，获取登录页面url，和登录所需要的字段

web爬虫，requests请求_第1张图片

web爬虫，requests请求_第2张图片

携带cookie登录授权

#!/usr/bin/env python
# -*- coding:utf8 -*-
import requests     #导入模拟浏览器请求模块

### 1、在没登录之前访问一下首页，获取cookie
i1 = requests.get(
    url="http://dig.chouti.com/",
    headers={'Referer':'http://dig.chouti.com/'}
)
i1.encoding = "utf-8"                               #http请求编码
i1_cookie = i1.cookies.get_dict()
print(i1_cookie)                                    #返回获取到的cookie
#返回：{'JSESSIONID': 'aaaTztKP-KaGLbX-T6R0v', 'gpsd': 'c227f059746c839a28ab136060fe6ebe', 'route': 'f8b4f4a95eeeb2efcff5fd5e417b8319'}

### 2、用户登陆，携带上一次的cookie，后台对cookie中的随机字符进行授权
i2 = requests.post(
    url="http://dig.chouti.com/login",              #登录url
    data={                                          #登录字段
        'phone': "8615284816568",
        'password': "279819",
        'oneMonth': ""
    },
    headers={'Referer':'http://dig.chouti.com/'},
    cookies=i1_cookie                               #携带cookie
)
i2.encoding = "utf-8"
dluxxi = i2.text
print(dluxxi)                                       #查看登录后服务器的响应
#返回：{"result":{"code":"9999", "message":"", "data":{"complateReg":"0","destJid":"cdu_50072007463"}}}  登录成功

3、登录成功后，说明后台已经给cookie授权，这样我们访问需要登录的页面时，携带这个cookie即可，比如获取个人中心

#!/usr/bin/env python
# -*- coding:utf8 -*-
import requests     #导入模拟浏览器请求模块

### 1、在没登录之前访问一下首页，获取cookie
i1 = requests.get(
    url="http://dig.chouti.com/",
    headers={'Referer':'http://dig.chouti.com/'}
)
i1.encoding = "utf-8"                               #http请求编码
i1_cookie = i1.cookies.get_dict()
print(i1_cookie)                                    #返回获取到的cookie
#返回：{'JSESSIONID': 'aaaTztKP-KaGLbX-T6R0v', 'gpsd': 'c227f059746c839a28ab136060fe6ebe', 'route': 'f8b4f4a95eeeb2efcff5fd5e417b8319'}

### 2、用户登陆，携带上一次的cookie，后台对cookie中的随机字符进行授权
i2 = requests.post(
    url="http://dig.chouti.com/login",              #登录url
    data={                                          #登录字段
        'phone': "8615284816568",
        'password': "279819",
        'oneMonth': ""
    },
    headers={'Referer':'http://dig.chouti.com/'},
    cookies=i1_cookie                               #携带cookie
)
i2.encoding = "utf-8"
dluxxi = i2.text
print(dluxxi)                                       #查看登录后服务器的响应
#返回：{"result":{"code":"9999", "message":"", "data":{"complateReg":"0","destJid":"cdu_50072007463"}}}  登录成功

### 3、访问需要登录才能查看的页面，携带着授权后的cookie访问
shouquan_cookie = i1_cookie
i3 = requests.get(
    url="http://dig.chouti.com/user/link/saved/1",
    headers={'Referer':'http://dig.chouti.com/'},
    cookies=shouquan_cookie                        #携带着授权后的cookie访问
)
i3.encoding = "utf-8"
print(i3.text)                                     #查看需要登录才能查看的页面

web爬虫，requests请求_第3张图片

获取需要登录页面的html源码成功

全部代码

get()方法，发送get请求
encoding属性，设置请求编码
cookies.get_dict()获取cookies
post()发送post请求
text获取服务器响应信息

#!/usr/bin/env python
# -*- coding:utf8 -*-
import requests     #导入模拟浏览器请求模块

### 1、在没登录之前访问一下首页，获取cookie
i1 = requests.get(
    url="http://dig.chouti.com/",
    headers={'Referer':'http://dig.chouti.com/'}
)
i1.encoding = "utf-8"                               #http请求编码
i1_cookie = i1.cookies.get_dict()
print(i1_cookie)                                    #返回获取到的cookie
#返回：{'JSESSIONID': 'aaaTztKP-KaGLbX-T6R0v', 'gpsd': 'c227f059746c839a28ab136060fe6ebe', 'route': 'f8b4f4a95eeeb2efcff5fd5e417b8319'}

### 2、用户登陆，携带上一次的cookie，后台对cookie中的随机字符进行授权
i2 = requests.post(
    url="http://dig.chouti.com/login",              #登录url
    data={                                          #登录字段
        'phone': "8615284816568",
        'password': "279819",
        'oneMonth': ""
    },
    headers={'Referer':'http://dig.chouti.com/'},
    cookies=i1_cookie                               #携带cookie
)
i2.encoding = "utf-8"
dluxxi = i2.text
print(dluxxi)                                       #查看登录后服务器的响应
#返回：{"result":{"code":"9999", "message":"", "data":{"complateReg":"0","destJid":"cdu_50072007463"}}}  登录成功

### 3、访问需要登录才能查看的页面，携带着授权后的cookie访问
shouquan_cookie = i1_cookie
i3 = requests.get(
    url="http://dig.chouti.com/user/link/saved/1",
    headers={'Referer':'http://dig.chouti.com/'},
    cookies=shouquan_cookie                        #携带着授权后的cookie访问
)
i3.encoding = "utf-8"
print(i3.text)                                     #查看需要登录才能查看的页面

如果你依然在编程的世界里迷茫，可以加入我们的Python学习扣qun：784758214，看看前辈们是如何学习的。交流经验。从基础的python脚本到web开发、爬虫、django、数据挖掘等，零基础到项目实战的资料都有整理。送给每一位python的小伙伴！分享一些学习的方法和需要注意的小细节，点击加入我们的 python学习者聚集地

注意：如果登录需要验证码，那就需要做图像处理，根据验证码图片，识别出验证码，将验证码写入登录字段