微博爬虫实操之后的总结

因为需要爬点数据，所以在github上面找了一个微博爬虫项目：https://github.com/dataabc/weibo-crawler。我只是一个执行者，感谢这个项目的作者，谢谢，灰常感谢！感谢各位大神分享自己的经验，谢谢，祝大家一生好运！！
总结起来就是：正确安装好Python—pip和Python版本匹配—安装requirements.txt中的模块—运行脚本。

我！！！真的是各种坑都踩了遍，只能说还好没有放弃，搞到凌晨一两点·····痘痘没白长。

首先在github上看这个项目的read me.md 和requirements.txt,对项目的过程以及要求有初步的了解。我所理解的就是下载相关模块之后再运行脚本。有了目标，再一步一步解决相关要求。

第一步，下载跟电脑版本相匹配的Python，32位还是64位的，安装的时候，一定要勾选下面的一个小框的path啥的！！！！一定要勾选！！一定要！因为很重要。
在gitbub上下载项目的源码文件夹，然后解压。

第二步，安装好Python之后，按win+R打开运行，输入CMD，回车enter
进入界面后，检查Python、pip版本是不是匹配：按 python --version查看Python 版本，pip list 查看pip版本。
如果两者版本不匹配，它会提示你升级pip版本，只需要按它的指令升级版本就行了：pip install --upgrade pip。
也可以直接git bash下载。这里讲pip下载，其实都差不多。

第三步，下载requirements.txt中的模块：pip install absl.py; pipi install requests; pip install tqdm; pip install lxml
如果pip install lxml装不上的，就要先下载wheel安装。具体步骤是：先从https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml 这个网站上或者lxml官网上找到跟Python版本相同的下载，因为我的Python是3.9.1,电脑是64位，所以下载的是图下面的版本：

image.png

下载后，回到界面安装wheel ：pip install wheel
安装包wheel之后，进入lxml所在文件夹安装：直接输入lxml所在磁盘名称，我的是G:磁盘，然后cd +lxml文件夹路径，最后 pip install *****.whl(lxml的名称)

安装好以上之后，就可以按照read.md中的步骤运行 weibo.py了：在界面进入项目所在磁盘G:再cd +weibo.py所在文件夹路径，最后输入weibo.py就可以爬账号了。记得在json文件中修改账号。cd是指切换目录。

只要Python安装正确，基本上就没有太大了的问题。

开始用cmd运行Python脚本失败之后，我就用了下面的这个软件

image.png

直接在anaconda中进入项目所在文件夹，运行Python weibo.py，然后按照它的提示一步一步操作，最后成功了。

这也给了我信心去重新解决cmd运行Python和bash 运行
最后也成功解决了。
其中运行会碰到timeout这个问题，是要改变pip源，直接pip install markdown -I https://pypi.tuna.tsinghua.edu.cn/simple（国内源网址，可以自己查）-I是i的大写，不要搞错了。

没有任何Python基础也可以爬微博了。因为前面Python可能没有安装正确，所以改环境变量也没有用，浪费了很多时间。卸载干净后重装省事多了。

通过这件事，我只想到一句话，还好我没有放弃。编程就是零和一，没有中间地带，它只会按设定的程序执行，所以生气也是没有的，只要根据提示去解决问题就好。一个问题一个问题的解决。一定要细心！！！！！
差不多就这样了。