scrapy 安装

摘要

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架
本文是在weindows环境下进行安装

安装步骤

1、创建虚拟环境， 并使用虚拟环境

python自带有创建虚拟环境的方法，也可以使用vitualenv方法
创建一个名叫venv的虚拟环境:
python -m venv venv

2、激活虚拟环境

进入虚拟环境文件里Scripts里，执行activate

image.png

3、升级更新pip

python -m pip install -U pip

4、安装依赖库

地址
找到 32位的twisted文件，下载，放好文件位置
执行安装：
pip install C:\Users\Administrator\Desktop\Twisted-18.4.0-cp36-cp36m-win32.whl

image.png

5、安装scrapy

pip install scrapy

6、创建项目

scrapy startproject 文件名 .
其中 . 表示在当前路径下创建项目

image.png

7.创建爬虫并赋予根url

scrapy genspider + 爬虫名字 + 根url

image.png

8、pycharm中打开文件

image.png