windows系统 和ubuntu 系统 安装python Scrapy

Ubuntu 安装 Scrapy 
参考 https://www.cnblogs.com/rwxwsblog/p/4557123.html)
安装依赖
sudo apt-get install python-dev sudo apt-get install libevent-dev sudo apt-get install libssl-dev
安装Scrapy
pip install scrapy
安装Twisted
依赖包:
>> sudo apt-get install python-setuptools
>>sudo apt-get install python-dev
>>sudo easy_install twisted

下载与python 对应版本的 Twisted https://pypi.python.org/pypi/Twisted/
>> tar -xjvf Twisted-17.9.0.tar.bz2
>>cd Twisted-17.9.0
>>python setup.py install

如果报异常错误:( error: command 'x86_64-linux-gnu-gcc' failed with exit status 1 )
>>sudo apt-get install libxml2-dev libxslt1-dev python-dev
>>sudo apt-get install zlib1g-dev
>>sudo apt-get install libevent-dev
>>sudo apt-get install -y libxml2-dev libxslt1-dev zlib1g-dev python3-pip

Windows 安装Scrapy 

直接 >> pip install scrapy 会抛异常错误

windows系统 和ubuntu 系统 安装python Scrapy_第1张图片

需要安装一个Twisted包 

下载地址(https://www.lfd.uci.edu/~gohlke/pythonlibs/

windows系统 和ubuntu 系统 安装python Scrapy_第2张图片

下载与你的python 相对应得包,本人pc配置是64位python是3.6的所以安装 Twisted‑18.4.0‑cp36‑cp36m‑win_amd64.whl

>> pip install Twisted‑18.4.0‑cp36‑cp36m‑win_amd64.whl

>> pip install scrapy


这样scrapy 就安装成功了



你可能感兴趣的:(python_crawl)