Python百度知道文章聚合采集软件说明文档

大家好，我是淘小白~

百度知道聚合采集的收录效果很好，我最近发布的数据都是日收的，截图：

 

之前淘小白写过一个火车头百度知道聚合的插件，那个插件需要使用隧道代理，使用代理之后，速度非常快，就是需要定期购买隧道代理ip。这几天研究了一下，想更换一下思路试试，就用Python写了一个软件出来，下面来具体介绍一下。

1、编程语言：Python

2、 Python库 selenium，使用这个库来驱动浏览器，模拟浏览器的方式进行采集；

3、提取本地关键词 ----  驱动浏览器 ---- 访问百度知道 ---- 搜索关键词 ---- 提取网址url ---- 提取采集到的url ---- 访问提取标题内容 ---- 聚合4篇文章 ----配图（2张）----  双标题 ---- 保存到本地txt ，上面是大致的逻辑；❤ TXB2196

4、聚合的速度，看下下面的保存时间

5、这个软件的速度要比使用隧道代理速度慢，但是不需要额外花钱，一天聚合文章的数据量，适合不是很大的网站，站群或者大网站，这个软件不适合，模拟浏览器的最主要问题就是速度问题。

6、因为速度问题，想提升一下速度，让浏览器禁止加载图片和js、css等文件，但是有反爬的问题，所以，后面直接修改成了全部加载，这样可以尽量的避免被反爬，对于小站来说，能稳定输出，比什么都重要。

7、设置比较简单，keywords.txt中存储关键词，一行一个，data目录下面是生成的新数据，双击主程序即可生成文章。