爬虫框架Scrapy环境搭建及遇见的坑

如何Pycharm中Scrapy环境搭建及遇见的坑

---

       最近在学习python爬虫，用到了一个叫scrapy的爬虫框架。首先要用到这个框架要先安装scrapy，在安装过程中遇到各种坑，想写篇博客记录一下这些坑，希望对大家有一定的帮助。

       我最开始是在pycharm中settings属性中安装scrapy

   但是安装好了之后运行发现报错，百度很久也无法解决。大佬都建议用pip手动安装，于是乎卸载了scrapy

由于scrapy框架功能十分强大，所以依赖很多库，不能够直接安装，需要先安装依赖库。

简单来说分为三个部分：

1.lxml下载：使用pip安装

pip install lxml

2.twisted下载链接

（https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted）

●提示：1号坑----尤其要注意对应的python版本号和操作系统位数，不然因为导致不兼容而导致安装失败

3.pyOpenSSL下载链接

（https://pypi.org/project/pyOpenSSL/#files）

●提示：2号坑----twisted和pyOpenSSL下载完成之后放入C:\Users\asus（也就是命令行默认的目录位置）

这样就不需要在命令行中更改目录，对小白很友好。

前面的步骤只是下载好了，现在打开命令行进行安装：

pip install pyOpenSSL-19.1.0-py2.py3-none-any.whl

pip install Twisted-20.3.0-cp36-cp36m-win_amd64.whl

4.安装scrapy：

pip install scrapy

这一步完成之后就差不多完成了环境搭建（提示：3号坑----不需要去高级设置<<环境变量里面配置path环境）

提示：4号坑----scrapy.cfg文件必须存在并且在工程的兄弟目录下

接着在命令行中输入：

scrapy

得到scrapy版本号信息、bench属性等等

做到这儿，还算不上真正的完成。经过我在b站看教学视频，得知验证是否完成搭建的关键是输入：

scrapy bench

这时候我们打开pycharm，如果能接收到服务器返回的空消息，才算大功告成！

如果能得到上面的界面，就证明scrapy已经安装好了！

接着试着访问bilibili，terminal正确返回数据！任务完成！！

因为是第一次写博客，写的不好或者错误的地方，请大家指正^.^