Python 超简单爬取新浪微博数据

 

 

新浪微博的数据可是非常有价值的，你可以拿来数据分析、拿来做网站、甚至是*****。不过很多人由于技术限制，想要使用的时候只能使用复制粘贴这样的笨方法。没关系，现在就教大家如何批量爬取微博的数据，大大加快数据迁移速度！

我们使用到的是第三方作者开发的 爬虫 库 weiboSpider（有 工具 当然要用 工具 啦）。

1. 下载项目

进入下方的网址，点击Download ZIP下载项目文件

github.com/dataabc/wei…

 

或者

你有git的话可以在cmd/terminal中输入以下命令安装

git clone https://github.com/dataabc/weiboSpider.git 

2.安装依赖

将该项目压缩包解压后，打开你的cmd/Termianl进入该项目目录，输入以下命令：

pip install -r requirements.txt 

便会开始安装项目依赖，等待其安装完成即可。

3.设置cookie

打开weibospider文件夹下的weibospider.py文件，将"your cookie"替换成 爬虫 微博的cookie，具体替换位置大约在weibospider.py文件的22行左右。cookie获取方法：

3.1 登录微博

 

3.2 按F12键或者右键页面空白处—检查，打开开发者 工具

 

3.3 选择****network — 按F5刷新一下 — 选择第一个文件 — 在右边窗口找到cookie