python爬取糗事百科用户头像和名称

#爬取图片的关键:构建头像的正则表达式

# pattern = '(.*?)'
    result = re.compile(pattern).findall(string)
    print("匹配结果:",result) # 测试点3:输出正则表达式匹配的结果
    x = 1
    for item in result:
        img = item
        if(len(item) >= 3):
            print("item[0]=",item[0])
            print("item[3]=",item[3])
            # print(img[0]) # 测试点4:输出真正需要的图片网址
            print('检验--','第'+str(page)+'页的第'+str(x)+'图片') # 测试点5:测试前面局部代码是否正确
            # 保存到本地
            # filename = urllib.request.urlretrieve('http://'+img[0],'D:/xxx/'+str(page)+'-'+str(x)+'.jpg')
            filename = urllib.request.urlretrieve('http://' + img[0], 'D:/xxx/' + item[3] + '.jpg')
            urllib.request.urlcleanup()
            x += 1

    print('\n结束--','第'+str(page)+'页结束--') # 测试点6:测试前面局部代码是否正确
# 设置循环遍历爬取13页的用户的头像

for i in range(1,10):
    # 爬取的原网页地址
    url = 'https://www.qiushibaike.com/text/page/'+str(i)+'/'
    getimg(url,i)


 

你可能感兴趣的:(python爬取糗事百科用户头像和名称)