calibre抓取电子书

1. 环境准备

安装calibre

点击这里去官网下载对应自己系统的版本，三个平台都支持（就喜欢这样跨平台的软件）。

验证安装是否成功

打开terminal （如果是瘟都死系统可以打开cmd 或者 power shell），输入ebook-convert 出现如下提示，说明安装成功了。

深度截图_选择区域_20191230171159.png

2. 脚本编写

原理

calibre使用Python来抓取网页数据，.recipe文件其实就是Python脚本。如果懂一些Python，那最好不过了。这个脚本关键点就两个：
继承BasicNewsRecipe类
实现parse_index(self)方法

干货来了

新建一个后缀为.recipe文件，将以下代码复制粘贴进去。编辑的时候，记得当成Python脚本，否则缩进造成的坑，你懂得。

#!/usr/bin/env python
# vim:fileencoding=utf-8
from __future__ import unicode_literals, division, absolute_import, print_function
from calibre.web.feeds.news import BasicNewsRecipe

class E_Book(BasicNewsRecipe):
    title          = 'GO web 编程'
    description = 'go语言教程'
    max_articles_per_feed = 500
    url_prefix = 'https://astaxie.gitbooks.io/build-web-application-with-golang/content/zh/'
    no_stylesheets = True
    remove_javascript = True
    keep_only_tags = [{ 'class': 'book-body' }]
    # remove_tags=[{'class':'x-wiki-info'}]

    # remove_tags_after=[{'class':'x-wiki-content x-content'}]
    
    def get_title(self, link):
        return link.get_text().replace('\n',"").replace(' ',"")
    
    def parse_index(self):
        soup = self.index_to_soup(self.url_prefix)
 
        div = soup.find('ul', { 'class': 'summary' })
 
        articles = []
        for link in div.findAll('a'):
            til = self.get_title(link)
            url = self.url_prefix + link['href']
            a = { 'title': til, 'url': url }
 
            articles.append(a)
 
        tutorial = [(self.title, articles)]
 
        return tutorial

脚本说明

哈哈，明明就是Python的语法！

• E_book 自定义的类，必须继承BasicNewsRecipe （划重点）。名字符合命名规范即可。
• title 父类中的成员变量。书名，值可以任意修改。
• description父类中的成员变量。 对生成电子书的描述，值可以任意修改。
• max_articles_per_feed父类中的成员变量。 目录索引的最大数目，就是目录中指向文章的链接数目。自己大概估算下就好，一般的500就够了（当然，你要抓取《本草纲目》就远远超过500了）。
• url_prefix这个就要抓取电子书的地址，视情况而定。跟后面的parse_index方法中抓取的文章链接拼接成完整的URL。
• keep_only_tags 父类中的成员变量。生成的电子书要保留的节点内容，毕竟整个网页上多余的东西太多了，我们只需要保留书本正文内容即可。可以有多个。例如：keep_only_tags = [{'class':'book-body},{'id':"abc"}]。这个根据具体情况修改，示例中是针对gitbook电子书的节点设置的。
• remove_tags和 remove_tags_after 这两个酌情使用，跟keep_only_tags相反，目的是移除无用的节点。自己可以试试修改移除每章后面的link标签后面的内容，看看效果。
• parse_index （加粗划重点）必须实现的方法，返回一个内容为元组(书名和目录列表的链接地址)的list，注意元组中的链接要拼接成完整的地址。具体实现要看对应的a标签如何过滤。
• get_title 这个是自定义的方法，目的是拿到a标签中的标题内容。这里有个大坑，就是内容里面有换行符是不行的，否则抓出来的目录标题都是未知。

3. 运行脚本

脚本编好了之后，我们把他保存为go_web.recipe 。
打开terminal，输入 ebook-convert go_web.recipe GoWeb.epub
等待执行结束，我们就看到生成了GoWeb.epub这本电子书。当然我们也可以输出个pdf文件（GoWeb.pdf）或者mobi文件（GoWeb.mobi）

总结

只要修改url_prefix的值，就可以抓取gitbook生成的在线电子书了。
如果你觉得对你油帮助，请支持下作者哦！