scrapy爬取知乎全站用户信息，存入mongodb数据库
源码地址github，里面有详细注释：https://github.com/15160200501/scrapy-
可以直接运行，不能运行的话，接口应该是换了
工具：pycharm、python37、mongodb数据库、数据库可视化工具robo3t
知乎：
思路：1、选定候选人
2、获取粉丝和关注列表
3、获取列表用户信息
4、获取每位用户粉丝和关注
先创建一个Scrapy项目：
先在settings：不遵循robots协议，在HEADERS里面添加头部信息user-agent，不添加头信息会报状态码
执行scrapy crawl zhihu，看是否返回该url的源码（个人信息的api口）
执行scrapy crawl zhihu，看是否返回该url的源码（关注列表的api接口）
执行scrapy crawl zhihu，看到都能返回该url的json文本
在UserItem中编写item，需要爬取的信息，根据抓包中的json看到
执行scrapy crawl zhihu，能看到返回第一个作者信息和关注列表的信息，有下一页，进行自己的回调。
爬取第一个作者的个人信息的关注列表后，再爬取关注列表里的关注的人，层层递归爬取关注的人
再添加粉丝的列表，也进行跟关注一样的操作，层层递归爬取粉丝列表的粉丝个人信息
要存储到mongodb数据库中，可以看到scrapy的官方文档https://doc.scrapy.org/en/latest/topics/item-pipeline.html，复制粘贴到pipeline管道文件中，而后再进行修改
，
再settings中再进行一些改动
完成这些，已经完成知乎全部用户信息的代码编写呢，之后就是在命令行执行scrapy crawl zhihu
由于爬取的太多，按了ctrl+c暂停了爬取，之后在mongodb数据库的可视化工具robo3t进行知乎用户的信息查看，可以看到右上角500，说明共爬取了10页，一页爬取50个个人信息，爬取了将近500个个人的信息
