python爬虫--小说（通过redis和mongodb读取数据）

进行爬虫项目，我们首先得分析需求，把大体思路列出来。

需求分析

需求分析出来了，接下来把大概思路通过函数写出来

通过函数将思路展示

上图，其中这三个函数get_re_infos()、get_xpath_infos()和get_soup_infos()是通过re、xpath、beautiful soup三种方法进行网页解析，提取需求数据。其中get_re_infos()和get_soup_infos()详情代码就不截图了（需要了解可以看我上篇文章）。

详细代码如下：

要想把数据写入redis中，首先得启动redis服务器和启动交互环境

启动redis服务器命令：redis-server.exe redis.windows.conf

启动redis服务器

启动redis交互环境命令：redis-cli

启动redis交互环境

在mongodb数据中查看保存的数据

mongodb查看数据