Python(五)编程小实例
抓取网页信息,并生成txt文件内容!
Python抓取网页技能——Python抓取网页就是我们常看见的网络爬虫,我们今天所要用到的就是我们Python中自带的模块,用这些模块将网页内容爬取下来,并生成一个txt文件。
(一)实例思路:
我们所需要用到的模块:
urllib2—urllib2是Python的一个获取URLs(Uniform Resource Locators)的组件。他以urlopen函数的形式提供了一个非常简单的接口,这是具有利用不同协议获取URLs的能力,他同样提供了一个比较复杂的接口来处理一般情况,例如:基础验证,cookies,代理和其他。
1 import urllib2 2 3 response=urllib2.urlopen('http://tieba.baidu.com/p/4923127538?see_lz=1') 4 5 html = response.read()
re—Python的re模块就是我们开始想知道的大名鼎鼎的正则表达式,正则表达式(可以称为REs,regex,regex pattens)是一个小巧的,高度专业化的编程语言,它内嵌于Python开发语言中,可通过re模块使用。正则表达式的pattern可以被编译成一系列的字节码,然后用C编写的引擎执行。
1 import re 2 3 m = re.search ('ab+','asdfabbbbb') 4 5 print m.group()
1 Python 2.7.13 (v2.7.13:a06454b1afa1, Dec 17 2016, 20:53:40) [MSC v.1500 64 bit (AMD64)] on win32 2 Type "copyright", "credits" or "license()" for more information. 3 >>> 4 ========================= RESTART: H:\Python27\1.py ========================= 5 abbbbb 6 >>>
re—正则表达式我们本节就不去重点讲了,基础同学们可以去看看正则表达式的详细内容:http://www.runoob.com/python/python-reg-expressions.html。在我的博客中有详细的正则表达式(字符)详解!
那么接下来我们开始我们的小实例——爬取百度贴吧小说!
首先我们要明确一下我们项目的思路:
# -*- coding: utf-8 -*-
#模块:urllib2, re。
#正则表达式:------想要的内容 findall(正则表达式,源码)
#百度贴吧爬取内容:1.获取源码
# 2.解析超链接
# 3.获取标题
# 4.获取内容
# 5.发送命令,调用主函数
我们在进行项目时要将整体突出程序化,那么我们开始第一步的实施调取Python中自带的模块:
1 # -*- coding: utf-8 -*- 2 3 import urllib2 4 import re
将我们所需的模块插入后,我们开始项目的实施:
1 class BDTB: 2 baseUrl = 'http://tieba.baidu.com/p/4923127538?see_lz=1' 3 #获取源代码 4 def getPage(self,pageNum): 5 try: 6 url = self.baseUrl + str(pageNum) 7 request = urllib2.Request(url) 8 response = urllib2.urlopen(request).read() 9 #print response 10 return response 11 except Exception,e: 12 print e
上述代码是我们要获取的网页源码信息,因为我们需要多方面的爬取我们想要的内容,所以我们创建一个类来实现其中所有函数的功能。
1 baseUrl = 'http://tieba.baidu.com/p/4923127538?see_lz=1'
baseUrl就是我们想要获取的网址!
1 def getPage(self,pageNum): 2 try: 3 url = self.baseUrl + str(pageNum) 4 request = urllib2.Request(url) 5 response = urllib2.urlopen(request).read() 6 #print response 7 return response 8 except Exception,e: 9 print e
网址获取到了之后,我们要定义一个函数,来获取我们想要获取的网页信息,在函数中我们定义了两个变量,这两个变量是我们正则匹配时要需要用到的!
我们在其中所用到的:
1 try: 2 语句1 3 语句2 4 . 5 . 6 语句N 7 except Exception e: 8 print e
这样的语句就是判断我们的程序有没有错误,看我们是否获取到我们想要的信息,如果没有获取到就给编译器返回一个e值!
接下来我们要使用我们的正则表达式来获取其中我们想要的内容了!
1 def Title(self,pageNum): 2 html = self.getPage(pageNum) 3 reg = re.compile(r'title="这(.*?)"') 4 items = re.findall(reg,html) 5 print items[0] 6 for item in items: 7 f = open('text1.txt','w') 8 f.write('标题'+'\t'+item) 9 f.close() 10 return items
这一段定义的函数是将我们所获取到的网页信息,匹配到我们想要的位置,然后截取下来!并且将网页匹配的信息生成一个text1.txt的文本文件,‘w’就是写入信息!
1 reg = re.compile(r'title="这(.*?)"')
这里我们就用到了re模块中的包含一个重要函数是compile(pattern [, flags]) ,该函数根据包含的正则表达式的字符串创建模式对象。
参数描述:
pattern匹配的正则表达式string要匹配的字符串。
flags标志位,用于控制正则表达式的匹配方式,如:是否区分大小写,多行匹配等等。
1 >>> import re 2 >>> repp = 'a,b,,,,c d' 3 >>> reOB = re.compile('[, ]+') 4 >>> reOB.split(some_text) 5 ['a', 'b', 'c', 'd']
接下来我们再看另一个re模块中的函数python 正则表达式 re findall 方法能够以列表的形式返回能匹配的子串。
re.findall(pattern, string[, flags]):
1 items = re.findall(reg,html)
我们来看一下这个函数的实例:
1 >>> import re 2 >>> p = re.compile(r'\d+') 3 >>> print p.findall('one1two2three3four4') 4 ['1', '2', '3', '4'] 5 >>>
将我们我所要查询到的数字以列表的形式输出出来!
1 for item in items: 2 f = open('text1.txt','w') 3 f.write('标题'+'\t'+item) 4 f.close()
在这段代码中,我们用到了Python文件写入,这个地方就是生成我们txt文本文件的地方,同学门可以找找详细的资料来研究一下,这里是对于想保存长期看的同学有很大的帮助哦!在这里我就不详细讲解了!
我们继续我们的项目:
1 def Text(self,pageNum): 2 html = self.getPage(pageNum) 3 reg = re.compile(r'class="d_post_content j_d_post_content "> (.*?)
',re.S) 4 req = re.findall(reg,html) 5 #print req[0] 6 for i in req: 7 removeAddr = re.compile('
','') 14 print i 15 f = open('text1.txt','a') 16 f.write('\n\n'+i) 17 f.close()