python3 [爬虫入门实战]爬虫之scrapy安装与配置教程

python3 [爬虫入门实战]爬虫之scrapy安装与配置教程

标签： python爬虫scrapy

2017-07-08 15:38 77人阅读 评论(0) 收藏 举报

分类：

python3爬虫（15）

作者同类文章 X

版权声明：本文为徐代龙（蛇崽）原创文章，未经徐代龙（蛇崽）允许不得转载。

目录(?)[+]

1. 不得不说自己经历过的才是真的经历过有很多网上的教程并不是很好都是一把辛酸泪啊
2. 总结一下方法对了安装的方法还是蛮简单的
3. 正确的姿势应该是这样子的
4. 右键run就行了

不得不说，自己经历过的，才是真的经历过，有很多网上的教程并不是很好，都是一把辛酸泪啊。

网上很多教程都是python2.7的，少有python3的教程，找起资料来还是挺难的。搞了算是蛮久的，一个上午加上半个晚上， 不过最终还是搞出来了

---

总结一下：方法对了，安装的方法还是蛮简单的

前人的经验，别一开始就上来

pip install Scrapy

不论如何这个绝对是有问题的

结果就是：

error: Unable to find vcvarsall.bat

然后你就是到处找啊找啊，网上百度下来的教程基本上的解决方法就是下载版本对应的visual studio,但是也太大了。。。。。。而且网速看不下去啊

正确的姿势应该是这样子的：

1 使用wheel安装
准备好这个网站：http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml

安装步骤姿势：
1 安装wheel

pip install wheel

成功的样子：

然后这个网站：
http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml
搜 Scrapy

下载， 建议放在python35 bin下带有.exe 路径下，这样子比较好，毕竟文件是比较重要的说

2 在该控制台输入：pip install [whell]
注：[whell]表示你的.whl文件，一定要全名，XXXX.whl

安装过程中可能会出现：

Failed to build XXXX
不过没有关系，但是到最后你还是会出现

twisted –》error: Unable to find vcvarsall.bat

因为scrapy框架是基于twisted 的， 所以又要去上面那个网站：

http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml

搜Twisted

Twisted, an event-driven networking engine.

Twisted‑17.5.0‑cp27‑cp27m‑win32.whl
Twisted‑17.5.0‑cp27‑cp27m‑win_amd64.whl
Twisted‑17.5.0‑cp34‑cp34m‑win32.whl
Twisted‑17.5.0‑cp34‑cp34m‑win_amd64.whl
Twisted‑17.5.0‑cp35‑cp35m‑win32.whl
Twisted‑17.5.0‑cp35‑cp35m‑win_amd64.whl
Twisted‑17.5.0‑cp36‑cp36m‑win32.whl
Twisted‑17.5.0‑cp36‑cp36m‑win_amd64.whl

选择对于的版本进行下载：cp35代表的是Python版本是多少，这里我的版本是python35，操作系统是win64位的，所以我这里进行Twisted‑17.5.0‑cp35‑cp35m‑win_amd64.whl 文件的下载

输入命令：

pip install [whell]

注意：这里的为whell还是文件的绝对路径，并且带上文件格式.whl

最后：安装成功之后

进行pip install scrapy

试着开始第一个项目：

scrapy startproject firstscrapy

最后进行导入到pycharm IDE中，

在pycharm 中选择

右键run就行了。