Python练习04-异步加载，下载网页图片。header和代理ip

跟着老师做的练习，我发现自己没有能独立做出来。算法方面不如老师做的优秀。

爬取得是knewone.com网站，此网站是国内异步加载数据的网站。

跟着麻瓜老师的课程学习的异步加载，第一个难点是，找到page=2，page=3....通过看源代码找到的。

找到之后，就轻松许多了，那就是下载图片了。

代码如下：

#执行的是下载page3页面的图片到本地文件夹。

from bs4 import BeautifulSoup
import requests,urllib.request

url='https://knewone.com/things/categories/ge-ren-pei-shi/xiang-bao?sort_by=latest&page=3'
path='/Users/pro/Desktop/a2/'
#注意一下headers的标准写法
headers={
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.75 Safari/537.36 QQBrowser/4.1.4132.400'
}

# 采用代理，否则打开不了网页。格式留在这里，未必能用到。
proxies = {"http": "127.0.0.1:9743"}

def download(url):
    filename=url.split('!')[-2]  #[-1]表示倒数第一个。[-2]表示倒数第二个。这里是为了处理链接的格式,因为要把链接的一部分当做图片名字的
    urllib.request.urlretrieve(url,path + filename[-10:])
    print("done")

#下面的函数测试可以使用,很正常。
def get_one_pagelink(url):
    wb_data=requests.get(url,headers=headers)
    soup=BeautifulSoup(wb_data.text,'lxml')
    imgs=soup.select('a.cover-inner > img')
    for img in imgs: 
        src=img.get('src')
        print(src)
        download(src) #这里很关键，这是算法方面的提高。我就没有想到这么解决问题。
get_one_pagelink(url)# 执行程序，得出结果。下载图片到本地a2文件夹。

#一开始，我打算下载所有页面的链接，然后再让for遍历，挨个下载到本地，思路我相信没错，但是没有老师的这个思路简洁。

最后升级了一下，下载了前20页的图片到本地文件夹,代码如下

from bs4 import BeautifulSoup
import requests,urllib.request

url='https://knewone.com/things/categories/ge-ren-pei-shi/xiang-bao?sort_by=latest&page=3'
path='/Users/pro/Desktop/a2/'
#注意一下headers的标准写法
headers={
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.75 Safari/537.36 QQBrowser/4.1.4132.400'
}

# 采用代理，否则打开不了网页。格式留在这里，未必能用到。
proxies = {"http": "127.0.0.1:9743"}

def download(url):
    filename=url.split('!')[-2]  #[-1]表示倒数第一个。[-2]表示倒数第二个。这里是为了处理链接的格式,因为要把链接的一部分当做图片名字的
    urllib.request.urlretrieve(url,path + filename[-10:])
    print("done")

#下面的函数测试可以使用,很正常。
def get_one_pagelink(url):
    wb_data=requests.get(url,headers=headers)
    soup=BeautifulSoup(wb_data.text,'lxml')
    imgs=soup.select('a.cover-inner > img')
    for img in imgs: 
        src=img.get('src')
        print(src)
        download(src) #这里很关键，这是算法方面的提高。我就没有想到这么解决问题。

#这段代码,我也不理解,就是抄老师的,原封不动相当于。很成功。这个for遍历有些吊炸天。
all_imglinks = ['https://knewone.com/things/categories/ge-ren-pei-shi/xiang-bao?sort_by=latest&page={}'.format(number) for number in range(1,10)]
for single_url in all_imglinks:
    get_one_pagelink(single_url)