python 爬虫 运用urlopen() 和urlretrieve()方法傻瓜操作 爬取虎牙直播主播头像

1，抓取网站源码运用的方法

• 1.urlopen()方法
  urllib.urlopen(url[, data[, proxies]]) :创建一个表示远程url的类文件对象，然后像本地文件一样操作这个类文件对象来获取远程数据。
  参数url表示远程数据的路径，一般是网址；
  参数data表示以post方式提交到url的数据(玩过web的人应该知道提交数据的两种方式：post与get。如果你不清楚，也不必太在意，一般情况下很少用到这个参数)；
  参数proxies用于设置代理。
  urlopen返回 一个类文件对象，它提供了如下方法：
  read() , readline() , readlines() , fileno() , close() ：这些方法的使用方式与文件对象完全一样;
  info()：返回一个httplib.HTTPMessage 对象，表示远程服务器返回的头信息
  getcode()：返回Http状态码。如果是http请求，200表示请求成功完成;404表示网址未找到；
  geturl()：返回请求的url；

2.urlretrieve方法（直接将远程数据下载到本地。）

• urllib.urlretrieve(url[, filename[, reporthook[, data]]])
  参数说明：
  url：外部或者本地url
  filename：指定了保存到本地的路径（如果未指定该参数，urllib会生成一个临时文件来保存数据）；
  reporthook：是一个回调函数，当连接上服务器、以及相应的数据块传输完毕的时候会触发该回调。我们可以利用这个回调函数来显示当前的下载进度。
  data：指post到服务器的数据。该方法返回一个包含两个元素的元组(filename, headers)，filename表示保存到本地的路径，header表示服务器的响应头。

注意

• 获取html文件解码格式
• 还有就是保存文件的路径，windows和ubunto下保存路径不太一样
• 爬虎牙可以，其他不确定

虎牙小姐姐颜秀界面网址：https://www.huya.com/g/1663

#导入urllib这个模块
import urllib.request
#导入re
import  re
def main():
   info = input("请输入你要爬去的网址:")
   # 返回一个文件对象f
   f = urllib.request.urlopen(info)
   # 获取html页面的全部内容
   content = f.read().decode('utf-8')
   #打印
   #print(content.decode("utf-8"))
   #获取相应匹配字符串，并以列表形式进行返回
   image_list = re.findall(r"https://.*?\.jpg",content)
   #print(image_list)
   j=0
   for content_image in image_list:
       imagline = content_image
       #print(imagline)
       print("正在下载%s" %imagline)
       #这是在ubanto下的保存路径，和windows的不太一样
       urllib.request.urlretrieve(imagline,"/home/python/pachong/ %d.jpg" %j)
       j += 1

if __name__ == '__main__':
   main()