【WeiboSpider】微博爬虫使用攻略
文章目录
- 项目地址和介绍
- 项目克隆
- 环境配置
-
- Python环境安装
- Python第三方库安装
- MongoDB数据库安装
- 项目运行
-
- 前期准备
-
- cookie的获取方法
- 运行
- 结果查看和导出
项目地址和介绍
https://github.com/nghuyong/WeiboSpider
这里介绍master分支，也就是在自己电脑上就可以跑的版本。
项目克隆
点击Code，然后点击Download ZIP即可下载，之后进行解压。
环境配置
该项目需要安装Python环境和MongoDB数据库
Python环境安装
先下载Anaconda
一些常用命令
conda create -n poppy_leo_tf python==3.7
conda activate poppy_leo_tf
conda install your_package
conda env list
source deactivate
conda remove -n your_env_name --all
conda remove --name your_env_name package_name
具体的安装方法去B战搜视频，很多。
Python第三方库安装
使用
pip install xxx
应该会需要scrapy,pymongo等。
注意pymongo使用3.9版本
MongoDB数据库安装
直接点这里去官网下载安装即可。
傻瓜式一直点下一步就行了。
项目运行
这里作者在 README.md文件中写的很清楚。
就是这个：
前期准备
将weibospider/settings.py中的cookie换一下。
cookie的获取方法
打开www.weibo.cn，登陆自己的微博账号。
按F12，或者右键点击检查。
选择network，点击weibo.cn，（如果network里没有内容的话，刷新一下网页就有了）如下图：
在右侧翻找到cookie。
接下来把cookie复制粘贴到settings.py的对应位置就好了。
运行
首先打开cmd命令行(win+r)，或者使用pycharm的话直接在下面控制台输入命令。
以用户信息为例。
分为两步，先cd到run_spider.py所在的文件夹，再运行该文件，后面的user参数表示爬取用户信息。
cd weibospider
python run_spider.py user
结果查看和导出
使用任意一款mongoDB工具即可查看结果。
如果想要导出excel文件可以使用python的pymongo库配合pandas库自己写一个小脚本。
有任何问题欢迎在评论区提问。