#0 使用scrapy 可能会遇到的问题

windows安装scrapy不成功

使用下面命令行安装scrapy

pip install  --proxy "http://127.0.0.1:3128" scrapy

报错: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools

这个是因为scrapy需要使用到windows c++ 编译器

通过下面地址下载安装:

  • WindowsCompilers

使用scrapy命令行时 报错

例如使用下列命令行,运行scrapy 里面的 runspider

scrapy runspider quotes_spider.py -o quotes.json

报错:ModuleNotFoundError: No module named 'win32api'

根据下列资料安装该模块:

  • ModuleNotFoundError: No module named 'win32api' 解决方法
  • Python for Windows Extensions 我windows10 python-v3.6下载的是 pywin32-221.win32-py3.6.exe 这个版本的

你可能感兴趣的:(#0 使用scrapy 可能会遇到的问题)