scrapy+baiduapi搭建一个私人小说阅读器（智能爬取加智能朗读）(一)

写在前面的话

喜欢看小说，平时都是通过电脑或者手机看小说，手机听小说（智能语音），或者喜马拉雅搜索小说听（好多喜欢的都收费o(╥﹏╥)o，然后网上好多免费资源却不能听），想在电脑上听小说，目前Microsoft Edge可以阅读网页文本很赞，不能自动翻译很烦(＃￣～￣＃)，而且智能语音库体验很差，所以想一个能搜索网上资源智能朗读的东东，木有发现好的，就自己写一个吧！

（Microsoft Edge阅读视图朗读示例）

 

 

小说资源获取（scrapy爬虫获取biquge资源）

1.scrapy环境搭建，这里就不说了，网上资源一堆，我也收录了一个，不知道可以看看,附带一个scrapy经典的架构图（转载）

 

• 引擎(Scrapy)
  用来处理整个系统的数据流处理, 触发事务(框架核心)
• 调度器(Scheduler)
  用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL（抓取网页的网址或者说是链接）的优先队列, 由它来决定下一个要抓取的网址是什么, 同时去除重复的网址
• 下载器(Downloader)
  用于下载网页内容, 并将网页内容返回给蜘蛛(Scrapy下载器是建立在twisted这个高效的异步模型上的)
• 爬虫(Spiders)
  爬虫是主要干活的, 用于从特定的网页中提取自己需要的信息, 即所谓的实体(Item)。用户也可以从中提取出链接,让Scrapy继续抓取下一个页面
• 项目管道(Pipeline)
  负责处理爬虫从网页中抽取的实体，主要的功能是持久化实体、验证实体的有效性、清除不需要的信息。当页面被爬虫解析后，将被发送到项目管道，并经过几个特定的次序处理数据。
• 下载器中间件(Downloader Middlewares)
  位于Scrapy引擎和下载器之间的框架，主要是处理Scrapy引擎与下载器之间的请求及响应。
• 爬虫中间件(Spider Middlewares)
  介于Scrapy引擎和爬虫之间的框架，主要工作是处理蜘蛛的响应输入和请求输出。
• 调度中间件(Scheduler Middewares)
  介于Scrapy引擎和调度之间的中间件，从Scrapy引擎发送到调度的请求和响应。

2.核心代码编写，按照爬虫架构，来编写爬虫及各个中间件内容（见代码）

　　爬虫核心代码（BiqugeSpider），最高爬取深度4层，同时定义了关键字和全文爬取2种策略

　　第1层 根据关键字搜索小说列表（默认函数parse），这里主要根据获取分页所有页url，传递给下一层，小说的基本信息列表爬取层

　　

 

 　　代码如下（这里xpath就不做介绍了，有兴趣自己学习下）：

    def parse(self, response):  
        index=0
        #检索小说（这里通过判断关键字来进行全文或者关键字爬取）
        if self.p:
            for each in response.xpath("//*[@class='search-result-page-main']/a"):
               src=each.attrib['href']
               yield scrapy.Request(self.domainUrl+ src, callback = self.ParsePage,dont_filter=False)            
        else:
            for each in response.xpath("//*[@id='main']/div[1]/ul/li"):
                if index>0:
                    src=each.xpath(".//span[2]/a")[0].attrib['href']
                    yield scrapy.Request(self.domainUrl+ src, callback = self.BookBasic,dont_filter=False) 
                index=index+1

　　第2层 根据小说基本信息列表获取每本小说的详情url，传递给下一层，小说基本信息爬取层

　　图和第一层类似，这里省略

　　代码如下：

　

    #获取分页内容，进行关键字深度爬取
    def ParsePage(self,response):
        for each in response.xpath("//*[@class='result-list']/div"):
            src=each.xpath(".//div/a")[0].attrib['href']
            yield scrapy.Request(self.domainUrl+ src, callback = self.BookBasic,dont_filter=False) 

 

　　第3层 根据小说分页列表获取每本检索到小说的基本信息，同时获取章节列表url，传递给下一层，小说内容爬取层

　　

 

　　代码如下：（存储了小说的名称、作者、简介信息）

#获取小说基本信息，同时让调度器爬取小说内容
    def BookBasic(self,response):
        Id=uuid.uuid1()
        BookName=response.xpath("string(//*[@id='info']/h1)")[0].root.strip()  
        Author=response.xpath("string(//*[@id='info']/p)")[0].root.strip().split('：')[1]
        imgSrc=response.xpath("//*[@id='fmimg']/img")[0].attrib['src']
        img= requests.get(imgSrc)
        Image= img.content
        LatestChapter=response.xpath("string(//*[@id='info']/p[4]/a)")[0].root.strip()
        Desc1=response.xpath("string(//*[@id='intro'])")[0].root.strip()
        #查询小说是否存在
        resp= self.mysql.Query("select Id from BookBasic where BookName='{0}'".format(BookName))
        if not resp:          
           # 获取小说信息          
           Id=uuid.uuid1()
           #插入数据
           self.mysql.ExecuteSql("insert into BookBasic (BookName,Author,Image,LatestChapter,Desc1,Id) values(%s,%s,%s,%s,%s,%s)",(str(BookName),str(Author),Image,str(LatestChapter),str(Desc1),str(Id)))
        else:
            Id=resp[0][0]
            self.mysql.ExecuteSql("update BookBasic set LatestChapter=%s,Desc1=%s where Id=%s",(str(LatestChapter),str(Desc1),str(Id)))
        #查询所有章节
        list=self.mysql.Query("select Title from BookContent where Id='{0}'".format(str(Id)))
        index=0
        listName=[]
        for each in response.xpath("//*[@id='list']/dl/dd"):
             try:                                             
                 src= each.xpath(".//a")[0].attrib['href']
                 title=each.xpath("string(.//a)")[0].root.strip()
                 if self.InTable(list,title):
                     print(title,"已经入库...")
                 elif title in listName:
                     print(title,"重复章节...")                
                 else:
                     request= scrapy.Request(self.domainUrl+ src, callback = self.BookContent,dont_filter=False)   
                     request.meta['id']=Id
                     request.meta['Chapter']=index
                     index=index+1
                     listName.append(title)
                     yield request
             except Exception as e:
                 print("analysis item error:"+item["title"]+ e);

　　第4层 根据小说章节url获取小说内容信息，存储小说内容，到此，小说内容全部爬取完成

　　

 

 　　代码如下：

  #爬取每个章节小说内容
    def BookContent(self,response):
        try:
            item=BiqugespiderItem()
            item['Title']=response.xpath("string(//*[@class='bookname']/h1)")[0].root.strip()
            item['Content']=response.xpath("string(//*[@id='content'])")[0].root.strip()
            item['Id']= response.meta['id']
            item['Chapter']= response.meta['Chapter']
            yield item
        except Exception as e:
            print("login item error:"+item["title"]+ e);

 

 

 3.持久化处理

上面说到了爬虫的内容怎么获取，下面说到存储，当然这层可以自己处理，这里为了方便使用腾讯云mysql进行存储小说信息（mysql帮助类）

数据库和表结构初始化：

 #初始化数据库
    def IniMysql(self):
         #创建数据库
      conn=pymysql.connect(host=self.host,port=self.port,user=self.user,password=self.password,database='mysql')
      sql='create database if not exists Biquge'
      cursor=conn.cursor()
      cursor.execute(sql)
      cursor.close()
      conn.close()           
      #创建表
      conn=pymysql.connect(host=self.host,port=self.port,user=self.user,password=self.password,database=self.defaultDb)
      cursor=conn.cursor()
      sql= """CREATE TABLE IF NOT EXISTS BookBasic(
                    BookName varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL COMMENT '书名',
                    Author varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '作者',
                    Image longblob NULL COMMENT '书封面',
                    LatestChapter varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '最新章节',
                    Desc1 varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '内容描述',
                    Id char(36) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL COMMENT '主键',
                    PRIMARY KEY (`Id`) USING BTREE
                  ) ENGINE = InnoDB CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic;
              """   
      cursor.execute(sql)
      sql="""CREATE TABLE IF NOT EXISTS BookContent(
                    DId char(36) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL,
                    Title varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '详情标题',
                    Content longtext CHARACTER SET utf8 COLLATE utf8_general_ci NULL COMMENT '内容信息',
                    Id char(36) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '书主键',
                    Chapter varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '章节',
                    SyncTime datetime(0) NULL DEFAULT NULL COMMENT '入库时间',
                    PRIMARY KEY (`DId`) USING BTREE
                  ) ENGINE = InnoDB CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Compact;
          """
      cursor.execute(sql)
      cursor.close()
      conn.close()      

 

小说基本信息存储代码：

 if not resp:          
           # 获取小说信息          
           Id=uuid.uuid1()
           #插入数据
           self.mysql.ExecuteSql("insert into BookBasic (BookName,Author,Image,LatestChapter,Desc1,Id) values(%s,%s,%s,%s,%s,%s)",(str(BookName),str(Author),Image,str(LatestChapter),str(Desc1),str(Id)))
        else:
            Id=resp[0][0]
            self.mysql.ExecuteSql("update BookBasic set LatestChapter=%s,Desc1=%s where Id=%s",(str(LatestChapter),str(Desc1),str(Id)))

小说内容信息存储代码：

class BiqugespiderPipeline(object):
    def process_item(self, item, spider):
        DId=uuid.uuid1()
        SyncTime=datetime.datetime.now()
        mysql=MySqlComment()
        mysql.ExecuteSql("insert into BookContent values(%s,%s,%s,%s,%s,%s)",(str(DId),str(item['Title']),str(item['Content']),str(item['Id']),str(item['Chapter']),SyncTime))
        return item

 

数据库存储结果：

（小说基本信息）

 

（小说内容信息）

 

 

 4.代码地址

只能朗读客户端下一章继续写，代码github地址先附上