python爬虫学习笔记

1.scrapy库的安装

anaconda的IDE:cmd命令行下conda install scrapy

pip安装:pip install scrapy即可安装

            注意:1.pip安装包需要安装vs2008,否则安装microsoft visual c++ compiler for python(直接官网下载)

                        2.运行spider时如果出现缺少win32api的问题还需要安装pywin32

2.编写spider之后可通过scrapy runspider ***.py来运行

3.可通过scrapy startproject ***创建一个scrapy工程

你可能感兴趣的:(python爬虫学习笔记)