python小说信息爬取并保存成txt

故事背景：

公元2019年，大数据课设，要做一个大数据系统，和两个室友决定搞一个小说推荐系统，所以就需要很多小说的数据，SO，就需要爬点数据了。

讲一下思路：

选一个小说网站，这里就不说我用的小说网站的名字了。我这里爬取的是静态网页，简单一点。
首先从主页面上获取每个小说的详情页的url，进入详情页获取需要的信息，书名、点击量，因为我们要做推荐系统，还需要评分，但是他上边没有，所以我就自己随机数了23333；主页的url分页爬取，所以分析一下不同页url的差异，就是index_x(x=1,2…)，然后就能分页取了，因为小说类型在其他位置，所以单独爬取，最后在和小说其他数据连在一起，其他就正则表达式了。

代码：

   import requests,re,time,random

class QiShu(object):
    def __init__(self):
        self.url='https://www.qisuu.la/soft/sort06/index_{}.html'
        self.headers={
            'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36',
        }#请求头从网页得到，模拟浏览器访问，简单的反爬虫
    def get_html(self,page_num):
    #根据主页url得到主页html信息
        url=self.url.format(page_num)
        try:
            response = requests.get(url=url, headers=self.headers)
            if response.status_code == 200:
                return response.text
            else:
                print('请求异常：{} status:{}'.format(self.url, response.status_code))
        except Exception as e:
            print('请求异常： {} error: {}'.format(self.url, e))
            return None
    def get_type(self):
    #获取小说类型
        response=requests.get(url=self.url.format(1),headers=self.headers)
        name=re.findall(re.compile(r'
.*?
(.*?)
',re.S),response.text)[0]
        print(name)
        return name

    def get_detail_url(self, html):
    #解析主页url获得详情页url
        if html:
            url = re.findall(re.compile(r'
.*?', re.S), html)
            #print(url)
            return url
        else:
            print('html空')

    def get_detail_html(self, detail_url):
    #获取详情页的html
        url='https://www.qisuu.la/'+detail_url
        response = requests.get(url, headers=self.headers)
        return response.content

    def parse_detail_html(self, detail_html,name):
    #解析详情页html得到需要的小说信息
        if detail_html:
            datas = re.findall(re.compile(r'
.*?
(.*?)
.*?
(.*?)
',re.S), detail_html.decode())[0]
            list_datas=list(datas)
            list_datas.append(name)
            list_datas.append(random.randint(1,10))
            print(list_datas)
            for i,item in enumerate(list_datas):
                if i==0:
                    string = str(list_datas[0])
                else:
                    string+=','+str(item)
            fileHandle=open('novel.txt','a',errors='ignore')  #写入文件
            fileHandle.write(string+'\n')
            fileHandle.close()
        else:
            print("detail_html空")

    def start(self):
        name = self.get_type()
        for x in range(1,21):
            print('当前正在访问第{}页'.format(x))
            list_html = self.get_html(x)
            detail_urls = self.get_detail_url(list_html)
            for i, detail_url in enumerate(detail_urls):
                detail_html = self.get_detail_html(detail_url)
                self.parse_detail_html(detail_html, name)
                #time.sleep(2)  # 延时两秒在访问下一个页面

if __name__ == '__main__':
    obj = QiShu()
    obj.start()