Scrapy爬虫框架

Scrapy爬虫框架

  • 创建项目
  • 创建爬虫文件
  • 配置items.py
  • 编写爬虫脚本
  • 保存爬取的结果
  • 处理爬取结果
  • 执行爬虫
  • 常用命令

创建项目

在pycharm项目目录下打开cmd或在pycharm的终端中输入
scrapy startproject movie(项目名)

创建爬虫文件

继续在刚才的终端输入以下命令:

cd movie(刚才创建的项目名)
scrapy genspider wuhanmovie(爬虫脚本名) mtime.com(脚本搜索域)

配置items.py

#固定格式,数据名=scrapy.Field()
#中文电影名
movietitlecn=

你可能感兴趣的:(爬虫,python,爬虫)