ITBooks—简单的书籍下载小工具

1.前言

我有个习惯就是收藏一些书籍，比如说编程类的，总是会去某些网站刷刷，若有新书籍更新恰又是自己感兴趣的，自然会立马下载下来，�写程序的都知道，编程书籍更新换代太快，国内的翻译的速度很难全面地跟上，对此，阅读国外的电子书籍是个途径。

很早就想写个书籍集成的脚本，本周女朋友回学校改论文，鬼使神差地做起了这件事，白天上班，晚上撸，准备集成四个网站，目前实现了两个，可以进行搜索和下载。前后花了四个晚上，有点黑眼圈。

�下面展示下0.1版本的成果，比如说检索Mastering python，空格用+代替。
python abook.py search Mastering+python Hattem

run

2.说明

项目名称叫做ITBooks，当然不准备只做IT方面书籍，文学名著也是可以的。

literature

ITBooks，是一个查询和下载书籍的python脚本。
目前只存储了allitebooks blah网站的书籍信息，接下来会更多的集成各个网站，因为想写成个人服务脚本，故使用sqlite3数据库，使用 scrapy爬取信息，具体看ITBooks/spider/allitebooks，爬虫部分可直接运行从而进行书籍信息更新；你可以通过变写爬虫来添加自己喜欢的网站。
添加爬虫只需要在ITBooks/spider/allitebooks/spider，下新建一个scrapy的爬虫脚本即可，对于数据的存储，具体在ITBooks/database，当然，你可以直接新建一个库。
这里放个allitebooks的爬虫脚本，这里说明下，这个良心网站很不错，希望各位爬的时候慢点。不然崩了大家都玩完。

# -*- coding: utf-8 -*-
import datetime
import sys
import scrapy
from scrapy.loader import ItemLoader
from scrapy.loader.processors import MapCompose, TakeFirst, Join
from scrapy.http import Request
from allitebooks.items import AllitebooksItem
from allitebooks.pipelines import AllitebooksPipeline

if sys.version_info[0] > 2:
    from urllib.parse import urljoin
else:
    from urlparse import urljoin


class AllitebooksSpider(scrapy.Spider):
    name = "allitebooks"
    allowed_domains = ["allitebooks.com"]
    start_urls = ('http://www.allitebooks.com', )

    def parse(self, response):
        """
        Get the next pages and yield requests
        :param response:
        :return: request url
        """
        pages = response.css('.pagination>a::text').extract()[-1]
        for page in range(int(pages)):
            # Generate a list of urls
            url = urljoin(response.url, '/page/' + str(page + 1))
            yield Request(url, callback=self.parse_detail)

    def parse_detail(self, response):
        """
        Get item URLs and yield Requests
        :param response:
        :return: request url
        """
        urls = response.css(
            'article>div.entry-body>header>.entry-title>a::attr(href)'
        ).extract()
        for url in urls:
            # Remove duplicate links
            sqlDb = AllitebooksPipeline()
            isExist = sqlDb.search_url('allitebooks', url)
            if not isExist:
                yield Request(url, callback=self.parse_item)

    def parse_item(self, response):
        """
        This function parses a property page.
        :param response:
        :return: item
        """
        # Create the loader using response
        l = ItemLoader(item=AllitebooksItem(), response=response)
        # Load primary fields using css expressions
        l.add_css('title', '.single-title::text', MapCompose(str.strip))
        l.add_css('cover', '.entry-body-thumbnail>a>img::attr(src)')
        book_details = response.css('.book-detail>dl>dd::text').extract()
        author_list = response.css(
            '.book-detail>dl>dd:nth-child(2)>a::text').extract()
        category_list = response.css(
            '.book-detail>dl>dd:nth-child(16)>a::text').extract()
        author = ','.join(author_list)
        category = ','.join(category_list)
        book_details = book_details[len(author_list):(-len(category_list))]
        l.add_value('author', author, MapCompose(str.strip))
        l.add_value('category', category, MapCompose(str.strip))
        item_name = "isbn year pages language file_size file_format".split()
        for index, value in enumerate(item_name):
            l.add_value(value, book_details[index], MapCompose(str.strip))
        l.add_css('description', '.entry-content')
        l.add_css('download', 'span.download-links>a::attr(href)',
                  MapCompose(str.strip), TakeFirst())
        # Housekeeping fields
        l.add_value('url', response.url)
        l.add_value('spider', self.name)
        l.add_value('date', datetime.datetime.now())
        yield l.load_item()

现在就是由于想在本地运行，对于自动更新是个问题，本来想使用celery将scrapy爬虫弄成一个个任务，我是可以在机器上这样部署，可是这对于使用者不大现实，目前是手动更新（确实很挫）。

接下来说说使用方法，如果你感兴趣，可以试试^_
脚本在python2.7+和python3下都可以运行，我测试过，但是爬虫却没在python2下测过，所以我建议还是用3吧。
运行以下命令：

git clone https://github.com/howie6879/ITBooks
cd /ITBooks/ITBooks
python abook.py search Mastering+Python Hattem

具体使用方法如下：

  python abook.py search