python-scrapy框架爬取某瓣电视剧信息--异步加载页面

前期准备,首先要有python环境+scrapy环境+pycharm环境

一、建立爬虫所需的环境,在命令行输入:

scrapy startproject doubantv  #命名自定义就好

会生成一个名为doubantv的文件夹,cd进入doubantv文件夹,在进入spiders文件夹,执行命令,新建爬虫文件:

scrapy gensipder tv "https://movie.douban.com"  #注明爬虫文件名,要爬取的网址域

然后就可以用pycharm打开doubantv文件了。

二、编写爬虫文件

https://movie.douban.com/j/new_search_subjects?sort=U&range=0,10&tags=%E7%94%B5%E8%A7%86%E5%89%A7&start=0#爬取的网址

我们会发现这个页面是通过ajax异步加载来不断获取页面的,通过我们细心的观察不难发现,每次加载页面都会出现一个有规律的网址,也就是上面给出的这个网址。因此我们就可以非常轻松的获取完整的页面信息了。

首先添加想要爬取的字段信息。

由于我们只是个人学习测试使用,所以就随机选择几个字段进行爬取:

在iteam文件编写
import scrapy


class DoubantvItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    # 导演
    directors = scrapy.Field()
    # 评分
    rate = scrapy.Field()
    # 标题
    title = scrapy.Field()
    # 跟进连接
    url = scrapy.Field()
    # 图片
    cover = scrapy.Field()

然后就是编写spiders内的爬虫文件了:

编写tv.py

# -*- coding: utf-8 -*-
import json

import scrapy
from doubantv.items import DoubantvItem

class TvSpider(scrapy.Spider):
    name = 'tv'
    allowed_domains = ['movie.douban.com']  #爬取域
    offset = 0
    url = 'https://movie.douban.com/j/new_search_subjects?sort=U&range=0,10&tags=%E7%94%B5%E8%A7%86%E5%89%A7&start='  #爬取的链接
  #格式化的url,注意逗号不要少
    start_urls = (
        url + str(offset),   
    )
  #主函数 def parse(self, response):     #将相应问价转换成json形式 datas
= json.loads(response.text)["data"]
    #遍历数组获取内容
for data in datas: item = DoubantvItem() # 导演 item['directors'] = data['directors'] # 评分 item['rate'] = data['rate'] # 标题 item['title'] = data['title'] # 跟进连接 item['url'] = data['url'] # 图片 item['cover'] = data['cover'] #传送到管道文件
       
yield item
    #获取封面图片url
for data in datas: # 图片 image = data['cover']
       #传送到管道文件
yield scrapy.Request(image, callback=self.parse)
    #自定义爬取响应地址数,我这里随意设置了一个20000
if self.offset < 20000: self.offset += 20
       #每次调用函数回滚,重复递归执行
yield scrapy.Request(self.url + str(self.offset), callback=self.parse)

接下来我们编写管道文件:

编写pipelines文件

import os
import urllib
from urllib.request import urlretrieve


class DoubantvPipeline(object):
  #初始化响应文件,建立一个doubantv.txt文件,和一个用户存放图片的目录 def __init__(self): self.filename
= open("doubantv.txt", "wb") self.path = "G:\images\p" self.page = 0
     #没有就新建一个
if not os.path.exists(self.path): os.mkdir(self.path)   #保存文件信息的函数 def process_item(self, item, spider): print("------------------------------------------------------") directors = item["directors"] rate = item["rate"] title = item["title"] url = item["url"] cover = item["cover"] print("---------------------------------------------------")
    #这里我们随机保存了一个内容 self.filename.write(title.encode(
'utf-8') + ' '.encode('utf-8') + rate.encode('utf-8') + '\r'.encode('utf-8'))     #保存图片文件到预定的目录 src = item['cover'] pathname = os.path.join(self.path, str(self.page) + cover + '.jpg') try: res = urllib.request.urlopen(src) #下载图片文件 with open(pathname, 'wb') as f: f.write(res.read()) self.page += 1 except Exception as e: print(e) return item   #关闭文件,释放内存 def colse_spider(self, spider): self.filename.close()

然后执行爬虫文件:

在跟目录下执行

scrapy crawl tv

耐性等待片刻后。。。

去他*的世界 第二季   9.2
致命女人 第一季   9.3
去他*的世界 第一季   9.1
摩登情爱 第一季   8.7
鹤唳华亭   7.4
从前有座灵剑山   7.4
美国恐怖故事:1984 第九季   7.4
谍战深海之惊蛰   6.5
请回答1988   9.7
。。。。。。。。。

 python-scrapy框架爬取某瓣电视剧信息--异步加载页面_第1张图片

 

 

 OVER

 

 

你可能感兴趣的:(python-scrapy框架爬取某瓣电视剧信息--异步加载页面)