在vscode中搭建scrapy框架

今天打算尝试自己写一个爬虫，需要用到scrapy框架，搜索许久，发现虽然有很多教你如何在Linux下搭建scrapy的教程，但教你在win平台下用vscode搭建scrapy的教程并不多。

作为浅尝爬虫+懒癌晚期来说，个人觉得在win平台下尝试写写爬虫应该是足够了吧。。。

本着这种想法，自己尝试了下在win10下搭建scrapy，发现过程并非一帆风顺。于是写下此文记录安装过程，以飨读者 （怕自己二次搭建时完全忘掉）。。。

当然如果有条件的话，还是用Linux会好一些，至于为什么好。。。也许是比较酷吧 。。逃

 

第一步

安装twisted

在百度搜索pypi或点击如下链接：

https://pypi.org/

搜索twisted选择最新的那个并下载就可以了。

下载后解压缩，执行文件夹中的setup.py就可以了。

 

第二步

打开vscode，按快捷键 ctrl + ~ 切换至终端，并在终端中输入

pip install scrapy

然后按下回车

 

第三步

解决报错问题

creating build\lib.win32-3.7\twisCommand "c:\users\...\appdata\local\programs\python\python37-32\python.exe -u -c "import setuptools, tokenize;__file__='C:\\Users\\...\\AppData\\Local\\Temp\\pip-install-27hwitnj\\Twisted\\setup.py';f=getattr(tokenize, 'open', open)(__file__);code=f.read().replace('\r\n', '\n');f.close();exec(compile(code, __file__, 'exec'))" install --record C:\Users\...\AppData\Local\Temp\pip-record-9jnvwlfd\install-record.txt --single-version-externally-managed --compile" failed with error code 1 in C:\Users\...\AppData\Local\Temp\pip-install-27hwitnj\Twisted\

这段报错的解决方法是从

https://blog.csdn.net/qq_38019321/article/details/77369935

这里学习到的，各位可以参考一下链接里的解决方法。

#需要注意的是，下载twisted对应版本的whl文件要下载你系统中安装的Python的版本，而不是你系统的。

例如：我安装的是64位win10，但却安装了32位的Python3.7，因此我需要下载32位的whl文件。

即：Twisted-18.9.0-cp37-cp37m-win32.whl

其中 cp37 == python 3.7 

        win32 == 32位

 

第四步

安装whl文件。

复制你whl文件所在的路径！！！

我们重新打开vscode的终端窗口，输入pip install 并粘贴路径：

pip install D:\module\Twisted\Twisted-18.9.0-cp37-cp37m-win32.whl

按下回车即可。

 

第五步

重新在终端中输入

pip install scrapy

 当出现Successfully的提示时，就说明你已经安装成功啦！