python3.7+anaconda配置爬虫框架Scrapy遇到的各种问题汇总

环境:python3.7 + anaconda3-2018-12

在编写爬虫时需要用到scrapy框架,本地python下载scrapy时,会遇到各种各样的问题,命好的没问题正常下载,但我我就是命不好的,pip下载,会引出各种包的依赖问题,wheel、twisted,所以建议要使用Scrapy的同学,时用集成开发环境Anaconda,会方便很多。但是Anaconda使用的时候也有各种注意事项,今天来详细介绍一下遇到的各种坑

Anaconda 下载

下载的时候,注意python 版本要和Anaconda版本相对应,如果不对应,又会出现bug

对应关系图

python3.7+anaconda配置爬虫框架Scrapy遇到的各种问题汇总_第1张图片

具体下载步骤
参见:https://blog.csdn.net/ITLearnHall/article/details/81708148

**注意!!!!其中有个地方让你选择是否勾选添加至环境变量。我建议你添加,大多数python课程会在命令行操作,不然你还的打开编译器,自己创建,很麻烦,建议添加!!!!
这里说一下,环境变量你勾选就好了,不需要自己打开电脑->高级属性去添加,它会自动添加。

这里使用的 Pycharm,链接中讲的比较详细

下载完成配置好之后,我们来安装 Scrapy

      安装使用conda命令安装
      conda install packagename

注意:此处安装的时候,要在Anaconda的Prompt的环境下运行如下命令

      conda install scrapy   

如图:python3.7+anaconda配置爬虫框架Scrapy遇到的各种问题汇总_第2张图片python3.7+anaconda配置爬虫框架Scrapy遇到的各种问题汇总_第3张图片
不要在cmd命令行运行,在cmd运行后续会出问题,至于出什么问题,我们一会再说。

然后运行上一个命令结束后,检测是否安装成功,在prompt运行如下代码

          scrapy bench

没有任何报错就说明安装成功!!

主要就两个代码:

    conda install scrapy
    scrapy bench

不放心可以查看一下已经安装好的库,如下命令:

  conda list

去S开头的地方看有没有scraoy,有就ok了。

**以上,是安装Scraoy最保险的方法,大家主要注意一点:运行的环境是在prompt下,不是cmd下

安装好了就可直接在prompt环境创建一个爬虫工程了

下面来看安装不成功的情况们

**

1.在prompt运行命令,发现 scrapy bench 报错

python3.7+anaconda配置爬虫框架Scrapy遇到的各种问题汇总_第4张图片
说明你在cmd运行过

      pip install scrapy 

或者在cmd运行过

      conda install scrapy

这样的情况,就要先进cmd命令行,去卸载掉你下载的scrapy 。
先cmd运行:

       pip list

发现有Scrapy,就卸载:

      pip uninstall  scrapy

然后:

     pip list

没有了就是卸载了
这时候去prompt看一下:

   conda list

如果也没有,就是卸载干净了。
卸载干净了,就重复我上面的安装步骤,就可以了!
**

2.输入命令conda install scrapy ,发现提示如下:

在这里插入图片描述
提示都安装好了,但是你输入 scrapy bench 却提示如下:

在这里插入图片描述
这不是安装好了吗???为啥却没有呢????
头大吗????我也头大!!!
因为:这个时候,你输入:

    conda list 

发现没有这个包了,所以bench 报错。

好的,这个时候,说明出了一些奇怪的我也不知道是什么的问题。。。
没关系,方法总比困难多,在 prompt 执行如下命令:

    conda install -c conda-forge scrapy

然后,继续输入:

    scrapy bench

如果成功了,说明没问题了。

这里多说一句:你要是在cmd命令行下运行了 conda install -c conda-forge scrapy 这个命令,那如果 bench 能成功,就好,如果失败了,报了之前的错误,那你就在cmd 下,执行:
conda uninstall scrapy 把它给我卸了,重新去prompt下,再重复刚才的安装步骤。

记住:conda install scrapy 这个命令,以及 conda install -c conda-forge scrapy 只能在prompt下运行!!在cmd运行,运气好就不会出错~~

但是,如果他又报了之前 bench 出来的错误,请往下看~~~~~~~~~~~~

3.正确运行conda install -c conda-forge scrapy 后,scrapy bench 再次报错

当你运行了这两个命令后,继续报错如下图:
python3.7+anaconda配置爬虫框架Scrapy遇到的各种问题汇总_第5张图片

这个图是你运行 conda install -c conda-forge scrapy时的运行过程,下载了一些包。
其实这个地方时有问题的,当你下载Scraoy时,不会只下载这么几个,而是有很多。。。

python3.7+anaconda配置爬虫框架Scrapy遇到的各种问题汇总_第6张图片

看,当你发现你运行 conda install -c conda-forge scrapy 的时候就下载了这么几个包,绝对
bench会继续报错。 具体什么原因,我也不清楚,可能是系统的问题,也可能是版本的问题,往往最新的版本,总有一些奇怪的bug。

这个时候,只有一个办法:

卸载Anaconda,重新下载,重新下载是绝对不会有问题的。
你要注意再次安装的时候,要规范安装,弄明白哪个命令在哪个环境运行,就不会再出错。
注意版本号要对应。

成功的运行结果是这样的
python3.7+anaconda配置爬虫框架Scrapy遇到的各种问题汇总_第7张图片

最后给大家一些建议

当你下载某个比较复杂的框架或者软件的时候,要去网上看教程,不要总是一路默认到安装,总会出现一些问题。。而且每个人的电脑不一样,出现的问题往往千奇百怪,不过应该卸载重装能解决95%以上的问题,但是卸载也要去找教程,卸得干干净净,有时候隐藏文件你找不到,还有注册表这些东西。

以上是我在使用Scrapy框架时遇到的问题,愿大家学习顺利,希望对大家有帮助!!

你可能感兴趣的:(python3.7+anaconda配置爬虫框架Scrapy遇到的各种问题汇总)