数据获取_Pyppeteer_代理设置及超时设置

问题:Pyppeteer超时设置

pyppeteer使用代理,因未设置超时,是系统默认超时3000ms(既3s)

解决方法(3种)

方法一

await page.setDefaultNavigationTimeout(timeout)

方法二

await page.goto(url,{
    'timeout': 1000*60 //这里超时是60s
})
//timeout => 是以毫秒为单位

async def test():
    proxy = '103.28.206.65:888'
    # headless参数设为False,则变成有头模式
    browser = await launch(
        headless=False,
        args=['--proxy-server={}'.format(proxy), ]
    )
    page = await browser.newPage()

   #  await page.authenticate({
   #   'username': 'chenxm',
   #   'password': 'chenxm',
   #   })
    await page.goto('http://www.chenxm.cc/', {'timeout': 10000*20})

第三种方法

page.waitForNavigation({'timeout': 1000*30})

你可能感兴趣的:(数据采集)