从0搭建区块链资讯网站（6-3）编写爬虫，设置items

从这一节开始，我们将编写爬虫部分以及设置item，到最终的存储到数据库，本节我们使用第二个网站：http://www.qkljw.com/

我们找到这个网站的文章列表页：http://www.qkljw.com/Article/index/type/1/p/1.html

由此可见，他的翻页是通过变化数字来实现的，所以我们此处先以爬取第一页的内容为例，后续扩展爬取翻页。

---

# -*- coding: utf-8 -*-

import scrapy

from scrapy.http import Request

try:

    from bs4 import BeautifulSoup

except ImportError:

    from BeautifulSoup import BeautifulSoup

class jianwen(scrapy.Spider):

    name = 'jianwen'

    start_urls = "http://www.qkljw.com/Article/index/type/1/p/1.html"

    def start_requests(self):

        yield Request(self.start_urls, self.parse)

    def parse(self, response):

        #用BeautifulSoup 获取到ul元素

        lists = BeautifulSoup(response.text, 'lxml').find('ul', class_='article_cate')

        #获取所有li元素

        tds = lists.findAll('li')

        #循环获取li元素里面的内容

        for td in tds:

            #尝试获取Title

            title = td.find('p', class_='title-left').get_text().replace('\n','').replace('\r','').strip()

            #输出一下看看结果

            print(title)

---

输出结果：

标题获取成功

可以看到标题已经成功获取到，接下来其他元素同理获取，我们这里在这个页面上，将需要获取的元素包括：

Title：标题

image：图片

desc：描述

a_url：文章的详情页地址

所以我们按照同样的步骤获取到这四个元素，获取完成后，我们再观察一下详情页的内容，从详情页，我们希望获取：

publish_time: 发布时间

content：主体内容

这里唯一要注意的一点是：当我们在获取到文章详情页的链接地址时，并不是网站的绝对地址，而是相对地址：/article/2607.html，直接访问无法访问，所以我们需要在前面加上网站的根目录：

url = 'http://www.qkljw.com'+a_url

然后再交给下一个请求，来获取详细内容：

---

# -*- coding: utf-8 -*-

import scrapy

from scrapy.http import Request

try:

    from bs4 import BeautifulSoup

except ImportError:

    from BeautifulSoup import BeautifulSoup

class jianwen(scrapy.Spider):

    name = 'jianwen'

    start_urls = "http://www.qkljw.com/Article/index/type/1/p/1.html"

    def start_requests(self):

        yield Request(self.start_urls, self.parse)

    def parse(self, response):

        #用BeautifulSoup 获取到ul元素

        lists = BeautifulSoup(response.text, 'lxml').find('ul', class_='article_cate')

        #获取所有li元素

        tds = lists.findAll('li')

        #循环获取li元素里面的内容

        for td in tds:

            #尝试获取Title

            title = td.find('p', class_='title-left').get_text().replace('\n','').replace('\r','').strip()

            desc = td.find('div', class_='article_cate_li_info_content').get_text().replace('\n','').replace('\r','').strip()

            image = td.find('img', class_='a_h_img')['src']

            a_url = td.find('a')['href']

            #输出一下看看结果

            print(title)

            print(desc)

            print(image)

            print('http://www.qkljw.com'+a_url)         

#传递请求到下一个函数：get_content，同时将本函数内获取到的函数，以参数形式传递给下一个函数

            yield Request(url = 'http://www.qkljw.com'+a_url, callback=self.get_content, meta={'a_url':a_url, 'title':title, 'desc':desc, 'image':image}, dont_filter=True)

    def get_content(self, response):

        publish_time = response.xpath('//div[2]/div[1]/div[1]/p/text()').extract()[0]

        content = response.xpath('//div[2]/div[1]/div[2]').extract()[0]

---

到这里我们的爬虫基本上已经获取到了我们想要的所有内容，接下来我们就需要将我们的数据写入数据库

在写入数据库的时候，首先需要将数据封装到items中，我们打开items文件，然后按照我们需要填写到数据库中的内容定义字段即可：

items

编写好items文件后，在爬虫文件里，将我没获取到的信息，压入items即可，最终的爬虫文件为：

---

# -*- coding: utf-8 -*-

import scrapy

from scrapy.http import Request

try:

    from bs4 import BeautifulSoup

except ImportError:

    from BeautifulSoup import BeautifulSoup

from ArticleSpider.items import ScrapyArticleItem

class jianwen(scrapy.Spider):

    name = 'jianwen'

    start_urls = "http://www.qkljw.com/Article/index/type/1/p/1.html"

    def start_requests(self):

        yield Request(self.start_urls, self.parse)

    def parse(self, response):

        #用BeautifulSoup 获取到ul元素

        lists = BeautifulSoup(response.text, 'lxml').find('ul', class_='article_cate')

        #获取所有li元素

        tds = lists.findAll('li')

        #循环获取li元素里面的内容

        for td in tds:

            #尝试获取Title

            title = td.find('p', class_='title-left').get_text().replace('\n','').replace('\r','').strip()

            desc = td.find('div', class_='article_cate_li_info_content').get_text().replace('\n','').replace('\r','').strip()

            image = td.find('img', class_='a_h_img')['src']

            a_url = td.find('a')['href']

            #输出一下看看结果

            '''

            print(title)

            print(desc)

            print(image)

            print('http://www.qkljw.com'+a_url) 

            '''       

            #传递请求到下一个函数：get_content，同时将本函数内获取到的函数，以参数形式传递给下一个函数

            yield Request(url = 'http://www.qkljw.com'+a_url, callback=self.get_content, meta={'a_url':a_url, 'title':title, 'desc':desc, 'image':image}, dont_filter=True)

    def get_content(self, response):

        publish_time = response.xpath('//div[2]/div[1]/div[1]/p/text()').extract()[0]

        content = response.xpath('//div[2]/div[1]/div[2]').extract()[0]

        #创建item对象

        item = ScrapyArticleItem()

        #获取上一个方法传过来的参数

        item['a_url'] = 'http://www.qkljw.com'+response.meta['a_url']

        item['title'] = response.meta['title']

        item['image'] = 'http://www.qkljw.com'+response.meta['title']

        item['desc'] = response.meta['desc']

        item['publish_time'] = publish_time

        item['content'] = content

        #这个字段将会在我们做网页的时候用到

        item['source'] = 'qkljw'

        yield item

接下来我们需要将获取到的数据存入数据库，请参考下一节

---