python爬虫系列1-------Scrapy的安装与使用

linux安装scrapy

• 安装scrapy

#安装
pip install scrapy
#安装如果不顺利，报错如下
#error: command 'gcc' failed with exit status 1
#安装依赖
yum install gcc libffi-devel python-devel openssl-devel
#再次安装则会成功
#如果是python3环境下则有可能报错
*********************************************************************************
    Could not find function xmlCheckVersion in library libxml2. Is libxml2 installed?
    *********************************************************************************
error: command 'gcc' failed with exit status 1  
#这种情况下需要安装依赖包libxslt-devel
yum install libxslt-devel
#再次安装
pip3 install scrapy
#不报错则完成安装

• scrapy使用
  

   
  
      安装好scrapy后，会出现命令scrapy。此时我们需要创建爬虫模板项目

#创建文件夹
mkdir Spider
cd Spider

#创建scrapy项目
scrapy startproject mySpider
#这样scrapy模板项目创建完毕

未完待续。。。。