Python 爬虫笔记（3）

1、引入模块

from bs4 import BeautifulSoup
import re
import urllib
import sqlite3
import xlwt

2、定义得到一个指定的URL网页内容的函数

#得到一个指定URL的网页内容
def askURL(url):
    head={                                          #模拟浏览器，向像豆瓣服务器发送消息（伪装）
        "User-Agent":"Mozilla/5.0(WindowsNT10.0;WOW64)AppleWebKit/537.36(KHTML,like Gecko)Chrome/70.0.3538.25Safari/537.36Core/1.70.3870.400QQBrowser/10.8.4405.400"
                                                    #User-Agent一定要注意大小写和没有空格
        }
                                                    #用户代理，表示告诉豆瓣浏览器，我们是什么类型的机器（本质是告诉浏览器我们可以接受什么水平的文件内容）
    request=urllib.request.Request(url,headers=head)
    html=""
    try:                                            #可能会发生问题用try/except包含一下
        response=urllib.request.urlopen(request)    #返回一个response(里面有整个网页的信息)
        html=response.read().decode("utf-8")        #读取response，防止格式问题用decode("utf-8")解码一下
        print(html)
        
    except urllib.error.URLError as e:
        if hasattr(e,"code"):
            print(e.code)
        if hasattr((e), "reason"):
            print(e.reason)
        
    return html

3、上面得到的是一个网页的信息，我们需要的是250条记录，于是将爬取所有的数据，对数据进行解析判断，得到一个列表

 #影片详情链接的规则   
findLink=re.compile( r'')              #创建正则表达式对象，表示规则（字符串的模式）r:忽视所有特殊符号
#影片详情图片的规则
findImgSrc=re.compile( r'(.*)')
#影片详情评分的规则
findRating=re.compile( r'(.*)')
#找到评价人数
findJudge=re.compile(r'(\d*)人评价')
#找到概况
findInq=re.compile(r'(.*)')
#找到影片的相关内容
findBd=re.compile(r'
',re.S)


#爬取网页    
def getData(baseurl):
    datalist=[]
    for i in range(0,10):                             #调用获取页面信息的函数10次
        url=baseurl + str(i*25)                       #拿到的一页25条数据
        html=askURL(url)                              #保存获取到的网页源码
    
    
    #2、逐一解析数据
    soup=BeautifulSoup(html,"html.parser")            #使用html.parser解析器对html对象进行解析，将整个文档放到内存里形成一个soup树形结构的对象
    for item in soup.find_all('div',class_="item"):   #查找符合要求的字符串，形成列表，
       # print(item)                                  #测试查看电影itme的全部信息
        data=[]                                       #保存一部电影的所有信息
        item=str(item)                                #把item对象做一个转型变成字符串，用正则表达式 对字符串进行判断和解析
    #获取影片详情超链接
        Link=re.findall(findLink,item)[0]             #用re库来通过正则表达式查找指定的字符串，[0]:找到第一个
        data.append(Link)                             #添加链接
        
        imgSrc=re.findall(findImgSrc,item)
        data.append(imgSrc)                           #添加图片
        
        titles=re.findall(findTitle,item)             #片名可能有中文名也有外国名
        if len(titles)==2:
            ctitle=titles[0]
            data.append(ctitle)                       #添加中文名
            otitle=titles[1].replace("/","")          #去掉无关的符号
            data.append(otitle)                       #添加外国名
        else:
            data.append(titles[0])
            data.append('')                           #外国名留空
            
        rating=re.findall(findRating,item)[0]
        data.append(rating)                           #添加评分
        
        judgeNum=re.findall(findJudge,item)[0]
        data.append(judgeNum)                         #添加评价人数
        
        inq=re.findall(findInq,item)
        if len(inq)!=0:
            inq=inq[0].replace("。","")               #去掉句号
            data.append(inq)                          #添加概述
        else:
            data.append(" ")                          #留空
        
        bd=re.findall(findBd,item)[0]
        bd=re.sub('(\s+)?'," ",bd)        #去掉

        bd=re.sub('/'," ",bd)                        #替换/
        data.append(bd.strip())                      #去掉前后空格
            
        datalist.append(data) 
    return datalist

4、excel表格储存

以utf-8编码创建一个excel对象 创建一个sheet表 往单元格写入内容保存表格

#保存数据
def saveData(datalist,savepath):
    print("save....")
    book=xlwt.Workbook(encoding="utf-8",style_compression=0)      #创建book工作对象
    sheet=book.add_sheet('豆瓣电影Top250',cell_overwrite_ok=True)  #创建工作表
    col=("电影详情链接","图片链接","影片中文名","影片外国名","评分","评价人数","概述","相关信息")
    for i in range(0,8):
        sheet.write(0,i,col[i])                                    #列名
    for i in range(0,250):
        print("第%d条" %(i+1))
        data=datalist[i]
        for j in range(0,8):
            sheet.write(i+1,j,data[j])                  #数据
        
    book.save(savepath)               #保存