爬取shopee商品链接关键信息:无限次循环，直到爬取全部listing
背景：几个做电商的朋友，想看看竞争对手的数据，算是知识付费，然后针对对手，定向爬取其账户数据。
商品链接的url获取方式：
一：先进入官网搜索竞争对手店铺（用谷歌浏览器）：
官网：https://shopee.com.my/ 进入后搜索如下结果
二、进入店铺所有产品界面
三、在所有产品界面点击F12进入浏览器开发界面-找到API接口
四、找到api接口后，正式进入开发界面
from bs4 import BeautifulSoup
from urllib.request import urlopen
import urllib3
urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)
import random
import requests
import time
import json
import threading
import math
base=30 #每页显示条数
base_url=''
url = 'https://shopee.com.my/api/v2/search_items/?by=sales&entry_point=ShopBySearch&limit=30&match_id=143583862&newest=0&order=desc&page_type=shop&version=2'
url2 = 'https://shopee.com.my/api/v2/search_items/?by=sales&entry_point=ShopBySearch&limit=30&match_id=143583862&newest=30&order=desc&page_type=shop&version=2'
url3 = 'https://shopee.com.my/api/v2/search_items/?by=pop&entry_point=Shop