微博粉丝个人信息爬取

首先分析微博网页端的两个页面,发现weibo.com只能获取博主前五页的粉丝列表,weibo.cn能获取前20也粉丝列表。于是分析手机端,本人用手机试着划了下博主粉丝页,发现也只能获取两千左右的粉丝数,目前没有找到更好的方法获取全部粉丝。微博粉丝个人信息爬取_第1张图片

微博粉丝个人信息爬取_第2张图片用Charles抓取手机端博主粉丝页请求,发现一个接口可以返回粉丝json数据,url中since_id用来翻页,通过拼接url实现翻页请求,jsonpath抓取粉丝id。

利用weibo.cn这个简洁版页面获取粉丝信息

 

通过拼接url:www.weibo.cn/"粉丝ID"/info获取粉丝详细信息

 

xpath抓取详细信息 

 

大概目前想到就这么多 第一篇项目博客写的很乱 有需要可以留言交流

 

你可能感兴趣的:(微博粉丝个人信息爬取)