在编写爬虫时需要用到scrapy框架,本地python下载scrapy时,会遇到各种各样的问题,命好的没问题正常下载,但我我就是命不好的,pip下载,会引出各种包的依赖问题,wheel、twisted,所以建议要使用Scrapy的同学,时用集成开发环境Anaconda,会方便很多。但是Anaconda使用的时候也有各种注意事项,今天来详细介绍一下遇到的各种坑
下载的时候,注意python 版本要和Anaconda版本相对应,如果不对应,又会出现bug
对应关系图
具体下载步骤:
参见:https://blog.csdn.net/ITLearnHall/article/details/81708148
**注意!!!!其中有个地方让你选择是否勾选添加至环境变量。我建议你添加,大多数python课程会在命令行操作,不然你还的打开编译器,自己创建,很麻烦,建议添加!!!!
这里说一下,环境变量你勾选就好了,不需要自己打开电脑->高级属性去添加,它会自动添加。
这里使用的 Pycharm,链接中讲的比较详细
安装使用conda命令安装
conda install packagename
注意:此处安装的时候,要在Anaconda的Prompt的环境下运行如下命令
conda install scrapy
如图:
不要在cmd命令行运行,在cmd运行后续会出问题,至于出什么问题,我们一会再说。
然后运行上一个命令结束后,检测是否安装成功,在prompt运行如下代码
scrapy bench
没有任何报错就说明安装成功!!
主要就两个代码:
conda install scrapy
scrapy bench
不放心可以查看一下已经安装好的库,如下命令:
conda list
去S开头的地方看有没有scraoy,有就ok了。
**以上,是安装Scraoy最保险的方法,大家主要注意一点:运行的环境是在prompt下,不是cmd下
安装好了就可直接在prompt环境创建一个爬虫工程了
**
pip install scrapy
或者在cmd运行过
conda install scrapy
这样的情况,就要先进cmd命令行,去卸载掉你下载的scrapy 。
先cmd运行:
pip list
发现有Scrapy,就卸载:
pip uninstall scrapy
然后:
pip list
没有了就是卸载了
这时候去prompt看一下:
conda list
如果也没有,就是卸载干净了。
卸载干净了,就重复我上面的安装步骤,就可以了!
**
提示都安装好了,但是你输入 scrapy bench 却提示如下:
这不是安装好了吗???为啥却没有呢????
头大吗????我也头大!!!
因为:这个时候,你输入:
conda list
发现没有这个包了,所以bench 报错。
好的,这个时候,说明出了一些奇怪的我也不知道是什么的问题。。。
没关系,方法总比困难多,在 prompt 执行如下命令:
conda install -c conda-forge scrapy
然后,继续输入:
scrapy bench
如果成功了,说明没问题了。
这里多说一句:你要是在cmd命令行下运行了 conda install -c conda-forge scrapy 这个命令,那如果 bench 能成功,就好,如果失败了,报了之前的错误,那你就在cmd 下,执行:
conda uninstall scrapy 把它给我卸了,重新去prompt下,再重复刚才的安装步骤。记住:conda install scrapy 这个命令,以及 conda install -c conda-forge scrapy 只能在prompt下运行!!在cmd运行,运气好就不会出错~~
但是,如果他又报了之前 bench 出来的错误,请往下看~~~~~~~~~~~~
这个图是你运行 conda install -c conda-forge scrapy时的运行过程,下载了一些包。
其实这个地方时有问题的,当你下载Scraoy时,不会只下载这么几个,而是有很多。。。
看,当你发现你运行 conda install -c conda-forge scrapy 的时候就下载了这么几个包,绝对
bench会继续报错。 具体什么原因,我也不清楚,可能是系统的问题,也可能是版本的问题,往往最新的版本,总有一些奇怪的bug。
这个时候,只有一个办法:
卸载Anaconda,重新下载,重新下载是绝对不会有问题的。
你要注意再次安装的时候,要规范安装,弄明白哪个命令在哪个环境运行,就不会再出错。
注意版本号要对应。
当你下载某个比较复杂的框架或者软件的时候,要去网上看教程,不要总是一路默认到安装,总会出现一些问题。。而且每个人的电脑不一样,出现的问题往往千奇百怪,不过应该卸载重装能解决95%以上的问题,但是卸载也要去找教程,卸得干干净净,有时候隐藏文件你找不到,还有注册表这些东西。
以上是我在使用Scrapy框架时遇到的问题,愿大家学习顺利,希望对大家有帮助!!