Pyhton抓取豆瓣电影示例

BeautifulSoup抓取豆瓣电影信息 #

Beautiful Soup 是用Python写的一个HTML/XML的解析器，它可以很好的处理不规范标记并生成剖析树(parse tree)。 它提供简单又常用的导航（navigating），搜索以及修改剖析树的操作。它可以大大节省你的编程时间。

BeautifulSoup4的安装

一、使用pip直接安装beautifulsoup4

F:\demo>pip install beautifulsoup4
Collecting beautifulsoup4
Downloading beautifulsoup4-4.4.0-py3-none-any.whl (80kB)
328kB/s
Installing collected packages: beautifulsoup4
Successfully installed beautifulsoup4-4.4.0

F:\demo>

或者从官网下载Beautifulsoup的软件包，然后解压，cmd命令行进入解压包目录，输入以下命令安装：python setup.py install

网络爬虫实例代码，抓取新浪爱彩双色球开奖数据实例代码：

from bs4 import BeautifulSoup

import re
import urllib.request, urllib.parse, http.cookiejar

def getHtml(url):
    cj = http.cookiejar.CookieJar()
    opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))
    opener.addheaders = [('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.101 Safari/537.36'),('Cookie', '4564564564564564565646540')]
    urllib.request.install_opener(opener)

    html_bytes = urllib.request.urlopen(url).read()
    html_string = html_bytes.decode('utf-8')
    return html_string

html_doc = getHtml("http://zst.aicai.com/ssq/openInfo/")
soup = BeautifulSoup(html_doc, 'html.parser')

tr = soup.find('tr',attrs={"onmouseout": "this.style.background=''"}) 
#print(tr)
tds = tr.find_all('td')
opennum = tds[0].get_text() #彩票期号

time = tds[1].get_text() #开奖时间
reds = [] 
for i in range(2,8): 
    reds.append(tds[i].get_text()) 
#print(reds) 前面开出的普通号码
blue = tds[8].get_text() #特殊号码
print(opennum+'期开奖号码：'+ (',').join(reds)+", 蓝球："+blue+", 开奖时间 ："+time)


$ python hello.py
2016009期开奖号码：10,14,24,25,27,32, 蓝球：04, 开奖时间 ：2016-01-21

soup = BeautifulSoup(html_doc)

soup 就是BeautifulSoup处理格式化后的字符串，soup.title 得到的是title标签，soup.p 得到的是文档中的第一个p标签，要想得到所有标签，得用find_all

函数。find_all 函数返回的是一个序列，可以对它进行循环，依次得到想到的东西.

get_text() 是返回文本,这个对每一个BeautifulSoup处理后的对象得到的标签都是生效的。你可以试试 print soup.p.get_text()

其实是可以获得标签的其他属性的，比如我要获得a标签的href属性的值，可以使用 print soup.a[‘href’],类似的其他属性，比如class也是可以这么得到的（soup.a[‘class’]）。

特别的，一些特殊的标签，比如head标签，是可以通过soup.head 得到，其实前面也已经说了。

如何获得标签的内容数组？使用contents 属性就可以 比如使用 print soup.head.contents，就获得了head下的所有子孩子，以列表的形式返回结果

下面就开始进行一个小的实战操作,http://movie.douban.com/tag/%E5%96%9C%E5%89%A7 这个是豆瓣电影中的喜剧电影页面，我们就对这个页面操作，获取喜剧电影中评分最高的100个电影。

对这个页面需要提取两个信息：1、翻页链接；2、每部电影的信息（外链，图片，评分、简介、标题等）

当我们提取到所有电影的信息后再按评分进行排序，选出最高的即可，这里贴出翻页提取和电影信息提取的代码

from bs4 import BeautifulSoup

import urllib.request
import re
import urllib.parse, http.cookiejar
import sys 


#定义程序运行过程中的日志函数
def LOG(*argv):  
    sys.stderr.write(*argv)  
    sys.stderr.write('\n')  

class Grab():  
    url = ''  
    soup = None  

    #读取当前网页的源代码数据返回
    def GetPage(self, url):  
        if url.find('http://',0,7) != 0:  
            url = 'http://' + url  
        self.url = url  
        LOG('input url is: %s' % self.url)  
        req = urllib.request.Request(url, headers={'User-Agent' : "Magic Browser"})  
        try:  
            page = urllib.request.urlopen(req)  
        except:  
            return  
        return page.read()  

    #解析当前页面数据并将所需要的数据通过列表元祖返回
    def ExtractInfo(self,buf):  
        try:  
            #buf是传入的网页源代码，通过BeautifulSoup函数返回修正过的数据
            self.soup = BeautifulSoup(buf,'html.parser')
        except:  
            LOG('soup failed in ExtractInfo :%s' % self.url)  
            return  

        try:  
            #分析豆瓣电影网页中的代码，每个电影信息都被单独的放到一个item类中
            items = self.soup.findAll(attrs={'class':'item'})
        except:  
            LOG('failed on find items:%s' % self.url)  
            return  

        links = []  #电影的详细页面
        objs = []   #电影的图片地址
        titles = []  #电影名称
        scores = []  #电影当前获取分数
        comments = []  #评论
        intros = []  #简单介绍
        for item in items:  
            try:  
                pic = item.find(attrs={'class':'nbg'})  
                link = pic['href']  
                obj = pic.img['src']  
                info = item.find(attrs={'class':'pl2'})  
                title = re.sub('[ \t]+',' ',info.a.getText().replace(' ','').replace('\n',''))  
                star = info.find(attrs={'class':'star clearfix'})  
                score = star.find(attrs={'class':'rating_nums'}).getText().replace(' ','')  
                comment = star.find(attrs={'class':'pl'}).getText().replace(' ','')  
                intro = info.find(attrs={'class':'pl'}).getText().replace(' ','')  
            except Exception as e:  
                LOG('process error in ExtractInfo: %s' % self.url)  
                continue  
            links.append(link)  
            objs.append(obj)  
            titles.append(title)      
            scores.append(score)  
            comments.append(comment)  
            intros.append(intro)  
        return [links, objs, titles, scores, comments, intros]

    #获取所有相邻页面url
    def ExtractPageTurning(self,buf):  
        links = set([])  
        if not self.soup:  
            try:  
                self.soup = BeautifulSoup(buf,'html.parser')  
            except:  
                LOG('soup failed in ExtractPageTurning:%s' % self.url)  
                return  
        try:  
            pageturning = self.soup.find(attrs={'class':'paginator'})  
            a_nodes = pageturning.findAll('a')  
            for a_node in a_nodes:  
                href = a_node['href'] 
                if href.find('http://',0,7) == -1:  
                    href = self.url.split('?')[0] + href  
                links.add(href)  
        except:  
            LOG('get pageturning failed in ExtractPageTurning:%s' % self.url)  

        return set(links)  

    def Destroy(self):  
        del self.soup  
        self.soup = None  


grab = Grab()
#添加网页文件的格式 
file_object = open('info.html', 'w+')
file_object.write('<html><body><center><table>\r\n')

#buf是当前页面经过转换之后的源代码
buf = grab.GetPage('http://movie.douban.com/tag/%E5%96%9C%E5%89%A7')  
if not buf:  
        print('GetPage failed!')  
        sys.exit()  

#pageturning是当前页面相关连接的集合
pageturning = grab.ExtractPageTurning(buf)
pageturning.add('http://movie.douban.com/tag/%E5%96%9C%E5%89%A7')


links=[]
objs=[]
titles=[]
comments=[]
intros=[]
scores=[]

for page in pageturning:
    buf = grab.GetPage(page) 
    [link, obj, title, score, comment, intro]= grab.ExtractInfo(buf)
    print()
    links+=link
    objs+=obj
    titles+=title
    scores+=score
    comments+=comment
    intros+=intro


#zip函数返回一个可迭代的元组，是一个zip object而非直接的元组
tu=zip(links, objs, titles, scores, comments, intros)
tu1=[]
#将zip对象中的数据一次添加到序列中
for link, obj, title, score, comment, intro in tu:
        item=[link, obj, title, score, comment, intro]
        tu1.append(item)
#将列表转换成为元组
tu1=tuple(tu1)
#将每个条目按照电影的豆瓣评分重新降序排序
tu1=sorted(tu1,key=lambda t:t[3],reverse = True) 

index=0
for link, obj, title, score, comment, intro in tu1:
        if index%3==0 and(index+1)%6!=0:
            file_object.write('<tr>')
        file_object.write('<td>')
        str=title+' '+score+'<br>\r\n <a href='+link+'><img src='+obj+'> </img></a>\r\n';
        file_object.write(str.encode('gbk','ignore').decode('gbk'))        
        file_object.write('<br></td>') 
        if (index+1)%6==0 :
            file_object.write('</tr>')
        index+=1
grab.Destroy()
file_object.write('</table><center></body><html>')
file_object.close( )  

#运行情况
$ python hello.py
input url is: http://movie.douban.com/tag/%E5%96%9C%E5%89%A7
input url is: http://movie.douban.com/tag/%E5%96%9C%E5%89%A7?start=7880&type=T

input url is: http://movie.douban.com/tag/%E5%96%9C%E5%89%A7

input url is: http://movie.douban.com/tag/%E5%96%9C%E5%89%A7?start=7860&type=T

input url is: http://movie.douban.com/tag/%E5%96%9C%E5%89%A7?start=60&type=T

input url is: http://movie.douban.com/tag/%E5%96%9C%E5%89%A7?start=160&type=T

input url is: http://movie.douban.com/tag/%E5%96%9C%E5%89%A7?start=120&type=T

input url is: http://movie.douban.com/tag/%E5%96%9C%E5%89%A7?start=40&type=T

input url is: http://movie.douban.com/tag/%E5%96%9C%E5%89%A7?start=80&type=T

input url is: http://movie.douban.com/tag/%E5%96%9C%E5%89%A7?start=20&type=T

input url is: http://movie.douban.com/tag/%E5%96%9C%E5%89%A7?start=140&type=T

input url is: http://movie.douban.com/tag/%E5%96%9C%E5%89%A7?start=100&type=T

做出的网页效果比较简陋,如下图所示: