pip install pyspider

  1. 自行配置好Anaconda3 & navigator

  2. 虚拟爬虫环境,conda create -n 爬虫环境 ,默认Python 3.7

  3. 前期安装 requests, selenium, chromedrive, phantomjs, beautifulsoup4, pyquery, MySQL,MongoDB, pymysql, Navicat, pymongo, 3T. 等,请参考:小象社区 苏克老师的入门课程。

  4. 如果你找到了我的这个链接,基本也完成了上述部分。

  5. 大家在遇到下图等报错时:


    error.png

    可能会在网上搜到如何下载,安装wheel, 查看什么版本wheel适合,如何安装pip,pip3,设置环境变量什么的,折腾了很久,pycurl.XXXXXXXXXX.wheel 也下载失败。实在尴尬。

  6. 其实,打开Navigator, 在(1)对应的爬虫环境下,搜索pycurl 安装即可。甚是方便。


    image.png
  7. 然后舒服的 pip install pyspider 吧


    success.png

后续。20190721, 需要修改site-packages 里面py文件的关键字, async 全部改成 async_mode
另外,可能还得参考这个链接,谢谢各位!
https://blog.csdn.net/qq_37253540/article/details/88196994

再运行 pyspider all

你可能感兴趣的:(pip install pyspider)