Python爬取微博的评论人的微博网址

这次爬取微博以手机客户端为主。打开手机客户端的微博链接为 https://m.weibo.cn

进入微博后，随机找到评论多的为例。比如搜索鹿晗。爬取评论鹿晗的评论人的微博网址

 打开F12控制台，点击网络，刷新页面往下滑，在控制台出现一些数据，找到数据类型为json，后边是Service Worker.

鼠标点击，如图

我们可以看到请求的网址。消息头后边的响应。打开响应，如图

 我们可以看到评论信息的内容，id等

代码很短，每次爬取一个页面

具体代码实现如下

import requests
url = "https://m.weibo.cn/comments/hotflow?id=4267937844374459&mid=4267937844374459&max_id=176075044218609&max_id_type=0"
response = requests.get(url)
for j in range(10):
    with open('F:\\untitled\\weibo.txt','a')as f:
        f.write(str(response.json()['data']['data'][j]['user']['profile_url']) + '\n')

很简单的代码就实现了爬取评论人的微博网址

运行结果如下，会在指定的F:\\untitled\\weibo.txt 的生成评论人的微博网址

随便复制一个到浏览器中打开，就能看到评论人的微博主页了！如图