Python爬虫——urllib_微博cookie登陆

cookie登陆适用场景： 适用场景：数据采集的时候，需要绕过登陆，然后进入到某个页面

# 适用场景：数据采集的时候，需要绕过登陆，然后进入到某个页面
import urllib.request

url = 'https://weibo.cn/7122597640/info'

headers = {
        # referer  判断当前路径是不是由上一个路径进来的    一般情况下 是做图片防盗链
        'referer': 'https://weibo.cn/',
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36 Edg/114.0.1823.79',
}

# 请求对象的定制
request = urllib.request.Request(url, headers=headers)
# 模拟浏览器发送请求
response = urllib.request.urlopen(request)
# 获取响应数据
content = response.read().decode('utf-8')
# 保存到本地
fp = open('files/weibo.html', 'w', encoding='utf-8')
fp.write(content)

报错

但是查看网页源码还是utf-8，是因为还没有进入到个人信息页面，而是跳转到了登陆界面，而登陆界面是gb2312编码，所以把

content = response.read().decode('utf-8')

改为

content = response.read().decode('gb2312')

但是爬取到的页面是登陆界面，所以还要在headers加上cookie和referer，因为cookie中携带着你的登陆信息，如果有登陆之后的cookie，那么我们就可以携带着cookie进入到任何页面，但是并不是所有的反爬都只有cookie，可能还会有referer等等（还有刚刚的gb2312修改回utf-8）

headers = {
        # cookie中携带着你的登陆信息   如果有登陆之后的cookie  那么我们就可以携带着cookie进入到任何页面
        'cookie':'',
        # referer  判断当前路径是不是由上一个路径进来的    一般情况下 是做图片防盗链
        'referer': 'https://weibo.cn/',
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36 Edg/114.0.1823.79',
}

完整代码：

# 适用场景：数据采集的时候，需要绕过登陆，然后进入到某个页面
import urllib.request

url = 'https://weibo.cn/7122597640/info'

headers = {
        # cookie中携带着你的登陆信息   如果有登陆之后的cookie  那么我们就可以携带着cookie进入到任何页面
        'cookie': '',
        # referer  判断当前路径是不是由上一个路径进来的    一般情况下 是做图片防盗链
        'referer': 'https://weibo.cn/',
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36 Edg/114.0.1823.79',
}

# 请求对象的定制
request = urllib.request.Request(url, headers=headers)
# 模拟浏览器发送请求
response = urllib.request.urlopen(request)
# 获取响应数据
content = response.read().decode('utf-8')
# 保存到本地
fp = open('files/weibo.html', 'w', encoding='utf-8')
fp.write(content)

也可以尝试爬取一下QQ空间