本来不想写这个博客的,但是突然某天发现有新来的同事在看scrapy,搭环境很久都没弄对,觉得还是有必要简单的写一下。
1.先安装python环境,目前建议选择3.6版本,稳定,幺蛾子少。
2.不要直接 pip install scrapy,基本都失败,scrapy需要的依赖windows没有,而且也不会自动下载。
3.按照顺序,依次安装 wheel、Twisted、pywin32、 scrapy。
4.强烈建议用 pycharm 进行 python 相关开发;下面环境搭建都是在 pycharm 的命令行进行的,当然也可以在windows命令行进行,效果完全一样。
首先声明,scrapy依赖只有两个,Twisted 和 pywin32;但是,直接使用 pip install Twisted 经常出错,所以用安装.whl文件的方式,安装.whl就需要提前安装wheel,要不然没办法安装.whl文件。
直接运行
pip install wheel
即可完成wheel库安装
首先下载相关的.whl文件,注意python版本和操作系统要对应,我的是py3.6,64 位系统,地址,放到本地目录下:
命令行下安装 .whl文件,注意要cd到.whl文件所在的目录下才可以进行安装:
先装Twisted 再装 pywin32
两种方式:
1.下载scrapy对应版本的.whl文件,按照步骤3安装;
2.经过步骤2和3以后,可以直接命令行下运行 pip install scrapy 命令安装