Python3抓取糗百、不得姐、kanqu.com

测试电脑配置有点低,正常配置速度会比较快.


使用必看:


1.该代码使用Python3.6+版本;
2.需要安装依赖库如下(可使用类似:pip install requests进行安装.下面括号中的版本号是我本机的版本号):
        requests(2.12.4);
        BeautifulSoup(4.5.1)(安装方式有差异,使用[ pip install beautifulsoup4 ]安装4.X版本);
        urllib3(1.19.1);
3.本程序去掉了数据库部分(只为了更简单的......追求),但程序中已整理完所有数据(可自行选择数据库并进行新增等操作)[搜索函数:insertDataDB];
4.本程序仅供测试、学习之用,抓取的数据版权归原作者.
5.安装完依赖库之后,直接运行程序,等一会即可输出相应数据.

6.必须依赖:UserTools.py(这是一个工具脚本).


源码下载:http://download.csdn.net/detail/dcxy0/9835268


压缩包内文件说明:

UserTools.py(工具脚本,必须包含)

main.py(主程序脚本,必须包含)

demo.gif(运行示例)


关注:http://www.suancaiyu.xyz

程序仅供学习测试。

运行示例如下(测试电脑配置有点低,正常配置速度会比较快.):


你可能感兴趣的:(网络爬虫)