点击链接加入群【python技术交流】:https://jq.qq.com/?_wv=1027&k=44cX7Ag
快来加入群【python技术交流】(群号214030345),发现精彩内容。
新手傻瓜教程,熟手请忽略。。。(windows折腾不止。。。)
1.安装环境
windows 10
python 2.7
pycharm(强烈推荐,必选,不用的请忽略此文!)
下载页面:https://www.jetbrains.com/pycharm/download/#section=windows
下载地址:https://download.jetbrains.com/python/pycharm-professional-2016.3.2.exe
2.安装配置python虚拟环境及scrapy安装
安装python 2.7最新版
下载地址:https://www.python.org/downloads/windows/
推荐使用32位(64位偶尔会有第三方包兼容问题):https://www.python.org/ftp/python/2.7.13/python-2.7.13.msi
安装 Microsoft Visual C++ for Python 2.7
下载地址:https://www.microsoft.com/en-in/download/details.aspx?id=44266
使用pycharm新建一个纯python项目test
配置view显示工具栏
打开settings配置project interpreter中的虚拟环境
选择create virtualenv(虚拟环境的好处是多个虚拟环境安装不同版本的依赖互不干扰,好处很多,别特么废话照做就行!),选择文件夹专门存放各种虚拟环境,虚拟环境名称自定义,但是千万别写成scrapy这种,容易出现导入问题。
将pip、setuptools、wheel升级至最新(选中点左边的向上的箭头。。。傻瓜教程。。。)
点加号,选择安装scrapy会发现报错,很多依赖无法自动安装成功
解决依赖问题:
安装OpenSSL
下载OpenSSL:https://pypi.python.org/pypi/pyOpenSSL#downloads
复制到项目目录
执行 pip install pyOpenSSL-16.2.0-py2.py3-none-any.whl
安装lxml:
下载地址:http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml
http://www.lfd.uci.edu/~gohlke/pythonlibs/dn4ksi39/lxml-3.7.2-cp27-cp27m-win32.whl
复制到项目目录,安装 pip install lxml-3.7.2-cp27-cp27m-win32.whl
安装Pywin32:
下载页面:https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/
下载地址:https://downloads.sourceforge.net/project/pywin32/pywin32/Build%20220/pywin32-220.win32-py2.7.exe?r=&ts=1486280826&use_mirror=nchc
复制到项目目录,安装 easy_install pywin32-220.win32-py2.7.exe
安装Twisted:
下载页面:http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
下载链接:http://www.lfd.uci.edu/~gohlke/pythonlibs/dn4ksi39/Twisted-16.6.0-cp27-cp27m-win32.whl
复制到目录安装:pip install Twisted-16.6.0-cp27-cp27m-win32.whl
最后重新安装scrapy
pip install scrapy
完活~~~
打包下载:http://pan.baidu.com/s/1kURbV9P
ps:安装方式还可以参考 https://scraper24x7.wordpress.com/2016/03/19/how-to-install-scrapy-in-windows/
本教程几乎未使用编译安装,基本都是用第三方编译好的wheel包,编译安装不同环境还会有不同问题,visual studio 2008/2013/2015等等。。。尽量安装2015。。。还有使用MinGW的同学(心疼1w次),编译出现各种问题的就不要过来互喷了,本文就是给小白看的,您自己爱咋折腾都行。。。滚犊子。。。
能用Mac的就别来折腾win了,看了别人的傻瓜教程还配置不好环境的赶紧转行!人生短暂,干点力所能及的活~~~