python 爬虫 小程序_适合新手的Python爬虫小程序

介绍：此程序是使用python做的一个爬虫小程序  爬取了python百度百科中的部分内容，因为这个demo是根据网站中的静态结构爬取的，所以如果百度百科词条的html结构发生变化 需要修改部分内容。词条链接 http://baike.baidu.com/item/Python

逻辑步骤:1.主程序部分，主要初始化程序中需要用到的各个模块分为(1)链接管理模块。(2)链接下载保存模块   (3)解析网页模块   (4)输出解析内容模块，然后就是写抓取网页内容的方法。如果你在学习Python的过程中遇见了很多疑问和难题，可以加-q-u-n   227 -435-450里面有软件视频资料免费

下边为爬取方法代码：

2.链接管理模块 中实现四个方法a.向存储链接的表中添加需要爬取的新的链接add_new_url      b. 批量添加新链接 add_new_urls     c.判断链接表中是否有待爬取的新链接has_new_url     d.取一个待爬取的新链接  并将这个链接从链接表中移除（防止重复爬取相同内容）get_new_url

部分代码：

3.链接下载模块

使用urllib2进行需要爬取的链接的下载   （文末附上urllib2开发文档链接）

4.网页解析模块

网页解析使用beautifulsoup4库进行操作（文末附上beautifulsoup4开发文档链接）

5.输出内容

将爬取的内容以html形式保存在本地（代码成功运行后再工程project下刷新会有一个html文件）