安装scrapy包

安装scrapy包时遇到了很多麻烦,综合网上很多文章,最后总结了一个比较通用的方法。
环境:

  • windows7
  • python2.7.13 x64 新安装的python没有其他第三方包

直接使用命令安装。

 pip install scrapy 

安装过程中会提示依赖包 lxml 编译错误,去 这里下载对应的编译好的whl包到本地,安装lxml后,在安装scrapy,之后如果遇到其他依赖编译错误,重复上面操作。

pip install lxml‑3.7.2‑cp27‑cp27m‑win_amd64.whl
pipinstall scrapy

安装完毕执行命令检测是否成功。

scrapy --version

显示错误信息,没有win32api,去上面的网站下载whl包,使用pip安装出错,于是去这里下载独立的exe安装包,注意版本要兼容python版本的。
安装完pywin32后在检测是否安装成功。

$ scrapy --version
Scrapy 1.3.1 - no active project

Usage:
  scrapy  [options] [args]

Available commands:
  bench         Run quick benchmark test
  commands
  fetch         Fetch a URL using the Scrapy downloader
  genspider     Generate new spider using pre-defined templates
  runspider     Run a self-contained spider (without creating a project)
  settings      Get settings values
  shell         Interactive scraping console
  startproject  Create new project
  version       Print Scrapy version
  view          Open URL in browser, as seen by Scrapy

  [ more ]      More commands available when run from project directory

Use "scrapy  -h" to see more info about a command

总结是 http://www.lfd.uci.edu/~gohlke/pythonlibs/ 这个网站真好用,早点知道的话,以前装python的包就不会饶那么多弯路了。

你可能感兴趣的:(安装scrapy包)