scrapy入门使用及pycharm远程调试

一·scrapy的入门使用

  1. scrapy的安装
pip3 install scrapy
  1. 创建scrapy项目
scrapy startproject moviespider
  1. 创建scrapy爬虫:在项目目录下执行
scrapy genspider movie 163.com
  1. 运行scrapy爬虫:在项目目录下执行
scrapy crawl movie

# 如果不需要查看日志文件运行

scrapy crawl movie --nolog

二·PyCharm调试运行Scrapy项目

1.pycharm打开一个scrapy项目

  1. 找到scrapy包复制cmdline.py 到项目主目录(scrapy.cfg文件的同一目录下)

  2. 编辑文件调试运行配置


    image.png

    image.png

    20211115102449.png
  3. 也可以代码运行调试


    image.png

你可能感兴趣的:(scrapy入门使用及pycharm远程调试)