pycharm中创建scrapy项目(scrapy安装和demo)

1.安装

安装说明

 1. 先安装Twisted库------https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
       先 下载twisted,下载后在通过cmd切换到该路径下安装twusted:  pip  install  下载twisted文件名
 2. 再安装scrapy-------pip install scrapy
 3. 判断是否安装成功:输入scrapy

安装教程

视频

2.创建项目

1.创建一个scrapy项目
	scrapy startproject mySpider
2.生成一个爬虫
	scrapy genspider itcast "itcast.cn”
3.提取数据
	完善spider,使用xpath等方法
4.保存数据
	pipeline中保存数据

你可能感兴趣的:(开发遇到的问题,python,爬虫,python,大数据)