【爬虫】python爬虫工具scrapy的安装使用

关于使用方法及教程参考如下:

Scrapy中文官方入门教程

本文章的安装环境如下

window10 python3.X

文中使用的是python3.5,安装方法如下

第一步,安装pypiwin32

pip install pypiwin32

第二步,安装Twisted

首先,安装前查看当前python版本

python -V

可以看到我的python版本是3.5.2,并且window系统是64位,然后打开网址,搜索Twisted关键字

若打不开网址,并且python版本和我一样是3.5的,我已经上传,点击下面下载

Twisted-18.9.0-cp35-cp35m-win_amd64.whl

下载网址:

https://www.lfd.uci.edu/~gohlke/pythonlibs/

 

【爬虫】python爬虫工具scrapy的安装使用_第1张图片

可以看到Twisted有多个下载版本选择,因为我安装的python版本是3.5.2,所以选择cp35,同时因为操作系统是64位,所以选择win_amd64,故选择如下:

【爬虫】python爬虫工具scrapy的安装使用_第2张图片

文件下载完成后,复制文件到桌面,打开cmd,进入到desktop目录

【爬虫】python爬虫工具scrapy的安装使用_第3张图片

输入

pip install Twisted-18.9.0-cp35-cp35m-win_amd64.whl

即可安装成功

第三步,安装Scrapy

pip install Scrapy

安装完成后,使用scrapy startproject tutorial命令初始化项目

scrapy startproject tutorial

初始化完成后,目录如下:

tutorial/
    scrapy.cfg
    tutorial/
        __init__.py
        items.py
        pipelines.py
        settings.py
        spiders/
            __init__.py
            ...


这些文件分别是:

scrapy.cfg: 项目的配置文件
tutorial/: 该项目的python模块。之后您将在此加入代码。
tutorial/items.py: 项目中的item文件.
tutorial/pipelines.py: 项目中的pipelines文件.
tutorial/settings.py: 项目的设置文件.
tutorial/spiders/: 放置spider代码的目录.

 

你可能感兴趣的:(python,scrapy,python,Python爬虫实战)