python爬取微博用户信息(二)—— cookie的获取方式以及configs中参数的设置

这一节,主要讲述配置文件configs.py参数的含义,以及cookie的获取方式。

感兴趣的小伙伴可以收藏哦!


另外,关于本代码的效果展示以及教程,点击以下链接即可。

python爬取微博用户信息(一)—— 效果展示

python爬取微博用户信息(三)—— 创建MicroBlog类实例

python爬取微博用户信息(四)—— 爬取用户信息的功能函数

python爬取微博用户信息(五)—— os.sep函数、os.path.split() 、os.path.realpath()、os.path.isdir()、os.makedirs()用法

python爬取微博用户信息(六)—— 完整代码


目录

一、常用参数

二、cookie的获取方式

三、代码


一、常用参数

1、cookie

cookie是客户端与服务器的一个会话机制,比如做地铁时买的车票。

2、user_id

user_id实际上就是我们所说的id,也就是微博首页网址中的那一串数字。例如迪丽热巴,user_id = 1669879400

3、user_url

uset_url这里设置的是:https://weibo.cn/,原因是因为后面爬取的网页网址大部分都是以这个为前缀的。

4、filter

filter取值为0或1

  • 0:所有微博,即原创微博 + 转发微博
  • 1:仅爬取原创微博

5、pic_download

pic_download取值为0或1

  • 0:不下载原始微博图片
  • 1:下载微博原始图片

二、cookie的获取方式

首先,需要声明的是,这个cookie是一个临时的通行证,具有有效期的,一旦过期,就意味着我们要重新获取。下面,我将讲述获取微博cookie的方法。

1、没有cookie或者cookie过期会怎样?

将会显示“cookie错误或已过期,请重新获取cookie!”

因此,我们只能重新获取cookie,来进行爬取用户数据。

python爬取微博用户信息(二)—— cookie的获取方式以及configs中参数的设置_第1张图片

2、如何获取cookie?

  • 打开网页https://weibo.cn/pub/,并登录自己的微博账号

python爬取微博用户信息(二)—— cookie的获取方式以及configs中参数的设置_第2张图片

  •  登录成功后,点击微博,进入自己的主页

python爬取微博用户信息(二)—— cookie的获取方式以及configs中参数的设置_第3张图片

  • Fn + F12, 按照以下顺序,就能找到自己的cookie,并将其复制粘贴。

python爬取微博用户信息(二)—— cookie的获取方式以及configs中参数的设置_第4张图片

  •  如果没能找到,可以任意点击首页其他部分,例如原创,图片等等,之后再次进行上一步的操作即可

python爬取微博用户信息(二)—— cookie的获取方式以及configs中参数的设置_第5张图片

三、代码

configs.py

import argparse

def parse_args():
    parser = argparse.ArgumentParser(description='Crawling of microblog information')

    # cookie
    # parser.add_argument('--cookie', default=your cookie)

    # user
    """
    user_id: the id of user, such as 1669879400(迪丽热巴)
    user_url: the url of user's information
    """
    parser.add_argument('--user_id', default=1669879400)
    parser.add_argument('--user_url', default='https://weibo.cn/')

    # information
    """
    filter: 0 or 1 (0: 原创微博 + 转发微博; 1:原创微博)
    pic_download: 0 or 1 (0: 不下载原始微博图片; 1: 下载微博原始图片)
    """
    parser.add_argument('--filter', default=1)
    parser.add_argument('--pic_download', default=1)

    return parser.parse_args()

参考:

  • 爬取某个博主的微博信息: https://blog.csdn.net/weixin_40576260/article/details/79802297

你可能感兴趣的:(python,python,大数据,数据挖掘)