python解析本地html方法

Python爬虫每次运行时都会访问一次主机，为了避免增加主机访问负荷，一般都是在本地解析。Python解析本地html文件方法如下：

1.将html文件本地保存

2.在Python中打开html文件，可使用BeautifulSoup方法直接打开

soup=BeautifulSoup(open('ss.html',encoding='utf-8'),features='html.parser')

3.获取本地文件资料

a.先爬取主页的列表资料，其中同义内容使用“@”符号连接，首先在for循环内给定一个值获取标签内的链接link=x.get('href')，接着使用sub方法指定删除link。代码如下：
link=x.get('href')
change2=re.sub(link,'',s)

def draw_base_list(doc):
    lilist=soup.find('div',{'class':'babynames-term-articles'}).findAll('article');
    #爬取一级参数
    for x in lilist:
        str1=''
        count=0
        a='@'
        EnName=x.find('a').text;
        Mean=x.find('div',{'class':'meaning'}).text;
        Sou=x.find('div',{'class','related'}).findAll('a')
        Link=x.find('a').get('href');
        for x in Sou:
            if count!=0:#添加计数器判断是否为第一个，不是则添加@
                str1=str1+a
            s=str(x)  #将x转换为str类型来添加内容
            str1=str1+s
            count+=1
        Source=str1
        print(Source);　　　　　print(Meaning)；

在for循环中指定多余内容删除

link=x.get('href')
s=str(x)
change1=re.sub('','',change2)
change4=re.sub(' Baby Names','',change3)
change5=re.sub('','',change4)
change=re.sub(' ','',change5)

b.通过def draw_base_list(doc)函数向二级详情函数传递Link参数爬取详细信息，为避免频繁访问主机，我们同样将详情页的源代码保存至本地并解析

def draw_detail_list():
    str1=‘’
    meta="boy"
    doc=BeautifulSoup(open('nn.html',encoding='utf-8'),features='html.parser')
    Des=doc.find('div',{'class':'single-babyname-wrapper'}).findAll('p')
    Gen=doc.find('div',{'class':'entry-meta'}).find('a')
    #print(Gen)
    g=str(Gen)
    for i in Gen:
        if meta in g:
            Gender="boy"
        else:
            Gender="girl"
    #print(Gender)
    for x in Des:
        #print(x)
        if x.find('a')==None:  #该标签下有我们不需要的信息，查看源代码找到信息之间的联系，发现不需要的信息中都有链接
            c=str(x)
            change1=re.sub('
','',c)  #与一级信息函数一样删除指定内容
            change2=re.sub('
','',change1)
            change3=re.sub('\t','',change2)
            change=re.sub('\n','@',change3)
            str1=str1+change
            #Description=x.text
            #print(Description)
    Description=str1
    #print(Description)
    data={  #将数据存进字典中方便将数据保存至csv文件或数据库中
        'EnName':EnName,
        'CnName':'',
        'Gender':Gender,
        'Meaning':Meaning,
        'Description':Description,
        'Source':Source,
        'Character':'',  #网页中没有的信息数据列为空
        'Celebrity':'',
        'WishTag':''
    }
    #print(data)

c.将爬取下来的数据存入csv文件中

def draw_base_list(doc):
    ......
    #爬取一级参数
    for x in lilist:
        ......
        for x in Sou:
            ......
        ......
        draw_detail_list(Link,EnName,Meaning,Source)  #将数据传给二级信息函数

def draw_detail_list(url,EnName,Meaning,Source):
    ......
    for i in Gen:
        ......
    
    for x in Des:
        ......
    
    data={
        ......
    }
    write_dictionary_to_csv(data,'Names')  #将字典传给存放数据函数，并给定csv文件名

def write_dictionary_to_csv(dict,filename):
    file_name='{}.csv'.format(filename)
    with open(file_name, 'a',encoding='utf-8') as f: 
        file_exists = os.path.isfile(filename)
        w =csv.DictWriter(f, dict.keys(),delimiter=',', quotechar='"', lineterminator='\n',quoting=csv.QUOTE_ALL, skipinitialspace=True)
        w.writerow(dict)

参考资料：python怎么解析本地html文件，python解析本地html方法_软件屋下载站