1.scrapy框架安装与使用
scrapy是一个专门用于爬虫的框架，框架与库的区别是，库我们直接可以导入使用，而框架已经帮我们搭建好了相应的步骤，我们只需在其中添加逻辑即可。
安装scrapy直接在终端使用pip install 即可
bash-3.2$ pip install scrapy
安装scrapy期间如果有报错请大家根据错误内容自行百度，网上有大量的文章介绍scrapy安装相关问题。安装好scrapy框架后我们就可以新建项目了，本文是对豆瓣《调音师》的影评进行爬取，因此新建了douban_tiaoyinshi的项目。需要注意的是目前没有一个IDE支持自动创建scrapy项目，因此我们需要在终端中手动添加，语句为scrapy startproject+项目名。
bash-3.2$ scrapy startproject douban_tiaoyinshi
执行完这段语句后，可以发现pycharm中多了一个名叫douban_tiaoyinshi的文件夹，里边包括很多已经预定义好的函数，我们可以在此基础上编写自己的逻辑。
接下来需要根据自己要爬取的网址，创建一个自己的spider，语句为scrapy genspider + 爬虫名 + 爬虫网址
bash-3.2$ scrapy genspider tiaoyinshi https://movie.douban.com/subject/30334073/
写完后我们发现spiders下增加一个名为tiaoyinshi的py文件
准备就绪后我们可以开始正式编写爬虫代码了。
2.利用scrapy编写爬虫
（1）设置items
设置items的目的在于将你要爬取的数据设置成为scrapy识别的field格式，items的设置在创建项目时建立的items.py文件中进行即可。
（2）编写spider
编写spiedr是scrapy爬虫的核心，此部分需要结合待爬取网页的特征进行编写，元素的提取最常用的方式是xpath，推荐使用火狐浏览器的fire_bug和fire_path工具。
本文在tiaoyinshi.py中编写，首先定义爬虫名为“tiaoyinshi”，方便以后查看；设置允许爬虫访问的域名allowed_domian；设置start_urls，就是要爬取的网页，如果是静态网页，那么可以或许页面的最大页数，也可以通过分析网页获得网页的结构，从而构造出包含所有要爬取子页面的列表。在编写spider时我们可以使用scrapy的shell进行测试，从而得到想要的爬取内容，具体语句为：
bash-3.2$ scrapy shell https://movie.douban.com/subject/30334073/
scrapy shell是一个强大的测试器，里边有很多函数，可以帮助我们更好地进行爬虫操作，具体的使用方法我们可以参考以下这篇文章博客园。
此处需要注意的是我们执行完scrapy shell语句后，查看view(response)，网页可能返回403错误，这是因为网站的反爬机制起作用了，禁止了spider的访问，最简单的处理方法是在命令后加一个-s USER_AGENT='Mozilla/5.0'，当然也可以修改scrapy的配置文件，此处不再赘述，如有需要大家参考这篇文章cnblog。
- 编写获取初始爬取页面程序
观察页面要爬取url的结构特点，构造出合适的start_urls集合，保证爬取到所有的页面结构。本文用了xpath技术定位到想要爬取的位置，读取其中的最大评论数，又用了正则表达式匹配其中的数字。
def get_max_commits(self, response):
select_max_commits = Selector(response)
max_commits = select_max_commits.xpath('//*[@id="content"]/h1/text()').extract()
redigit = re.compile('[\d]{0,10}')
max_commits = redigit.findall(max_commits)
max_commits = int(max_commits[0])
pages = int(max_commits / 20) + 1
start_urls = []
for i in range(pages):
start_urls.append(self.start_url_base + '%d' % i)
return start_urls
- 编写爬取信息的主程序parse
同样根据网页存储数据的特点，用xpath获取相应数据，同时对特殊字符和空字符进行处理，获得我们想要的数据。
def parse(self, response):#默认的解析文件
item = DoubanTiaoyinshiItem()
selector = Selector(response)
info_container = selector.xpath('//*[@class="review-list "]')
for info in info_container:
user_id = info.xpath('./div/div/header/a[2]/text()').extract()#必须逐级设计
commit_time = info.xpath('./div/div/header/span[2]/text()').extract()
topic = info.xpath('./div/div/header/a[3]/text()').extract()
if topic:
topic = topic[0]
else:
topic = ''
commit_title = info.xpath('./div/div/div/h2/a/text()').extract()
love_cnt = info.xpath('./div/div/div/div[3]/a/span/text()').extract().strip()
dont_love_cnt = info.xpath('./div/div/div/div[3]/a[2]/span/text()').extract().strip()
reply_cnt = info.xpath('./div/div/div/div[3]/a[3]/text()')
item['usei_id'] = user_id
item['commit_time'] = commit_time
item['topic'] = topic
item['commit_title'] = commit_title
item['love_cnt'] = love_cnt
item['dont_love_cnt'] = dont_love_cnt
item['reply_cnt'] = reply_cnt
yield item
new_start_urls = self.get_max_commits(self, response)
for i in range(1, len(new_start_urls) + 1):
start_urls = new_start_urls[i]
yield Request(start_urls, callback=self.parse)
- 对pipeline进行设置
设置爬取文件的保存位置。 - 更新settings
设置爬虫的优先级