Python实战（一）——Python编写网络爬虫

实战内容针对不需要login的静态网页爬取。避免抓取登录、ajax异步加载的内容。

一、抓取程序主要模块组成

   1、url管理器 ：管理已抓取、未抓取的url连接，避免重复、循环抓取

   2、网页下载器 urllib2：下载url网页数据

   3、网页解析器 BeautifulSoup：解析下载好的网页，提取主要数据

二、抓取思路

   1、从根url出发，访问所有关联的n个url，依次爬取。

   2、url管理器存储方式：

        内存：set python的set直接去除重复数据

        db：mysql url iscrawl

        缓存：redis 待爬取 set

3、网页下载器

        urllib2 下载网页的方式

4、页面解析器

       正则匹配、html.parser、BeautifalSoup插件、lxml

三、各模块代码

1、url管理器

#coding:utf-8

class UrlManager(object):
    #初始化两个set ，分别存放新旧url
    def __init__(self):
        self.new_urls=set()
        self.old_urls=set()
    
    #添加新的url
    def add_new_url(self,url):#接收参数url，直接在方法后加入即可
        if url is None:
            return 
        if url not in self.new_urls and url not in self.old_urls:
            self.new_urls.add(url)
    
    #批量添加n个url        
    def add_new_urls(self,urls):
        if urls is None or len(urls)==0:
            return
        for url in urls:
            self.add_new_url(url)
            
    def has_new_url(self):
        return len(self.new_urls) !=0  
    
    
    def get_new_url(self):
        new_url=self.new_urls.pop()#从set集合中取走这个url
        self.old_urls.add(new_url)
        return new_url

2、网页下载器

#coding:utf-8

class HtmlDownloader(object):
    
    def download(self,url):
        if url is None:
            return None
        
        responce=urllib2.urlopen(url)
        
        if responce.getcode!=200:
            return None
        return reponce.read()
    

3、网页解析器

#coding:utf-8


class HtmlParser(object):
    
    #获取所有的a标签的url
    def _get_new_urls(self, page_url, soup):
        new_urls=set()
        #/view/123.htm 类似于这样的url，所以需要拼接
        links=soup.find_all('a',href=re.compile(r"/view/\d+\.htm"))
        for link in links:
            new_url=link['href']
            new_full_url=urlparse.urljoin(page_url,new_url) #拼接成完整的url
            new_urls.add(new_full_url)
        return new_urls
    
    def _get_new_data(self, page_url, soup):
        res_data={}#定义字典
        res_data['url']=page_url
        
        title_node=soup.find('dd',className='class-title').find('h1')
        res_data['title']=title_node.get_text()
        
        summary_node=soup.find('div',className='class-summary')
        res_data['summary']=summary_node.get_text()
        
        return res_data
    
    
    def parse(self,parse_url,html_content):
        if page_url is None or html_content is None:
            return
        
        soup=BeautifulSoup(html_content,'html.parser',from_encoding='utf-8')
        new_urls=self._get_new_urls(page_url,soup)
        new_data=self._get_new_data(page_url,soup)
        return new_urls,new_data

4、解析数据输出器

#coding:utf-8

class HtmlOutPuter(object):
    def __init__(self):
        self.datas=[] #list列表，用于存放解析数据
    
    def collect_data(self,data):
        if data is None:
            return
        self.datas.append(data)
    
    def output_html(self):
        fout=open('output.html','w')#дģʽ
        
        fout.write("")
        fout.write("")
        fout.write("")
        
        for data in self.datas:
            fout.write(""%data['url'])
            fout.write(""%data['title'],encode('utf-8'))
            fout.write(""%data['summary'],encode('utf-8'))
        fout.write("
%s
%s
%s
")
        fout.write("")
        fout.write("")
        
        fout.close()

5、main启动

#coding:utf-8

#1 判断url  百科中相关连接 /view/bai/要补全url在进行
#2 查看网页编码
class SpiderMain(object):
    #初始化变量
    def _init_(self):
        self.urls=url_manager.UrlManager()
        self.downloader=html_downloader.HtmlDownloader()
        self.parser=html_parser.HtmlParser()
        self.outputer=html_output.HtmlOutputer()
    
    def crawl(self, root_url):
        pass
#main函数
if __name__=='_main_':
    root_url='http://baike.baidu.com/link?url=aj_RuPg5N5xQOJuE6iVlpwpkViTYB-agGx-CdgJPaW9H9fMDDrEajQt9ZDLBX0fRoOoGwrjkVYjm1vpMpMNLFa'
    obj_spider=SpiderMain()
    obj_spider.crawl(root_url) #ctr+1 创建方法、类快捷键