课时12-如何获取网页中的动态数据

  • 动态抓取
    打开chrome 的network监控。 然后一直拖下去。
课时12-如何获取网页中的动态数据_第1张图片
1.jpg

选择好XHR

  • 点击respons 可以看见加载回来的页面。
课时12-如何获取网页中的动态数据_第2张图片
1.jpg

先构造一个抓元素的函数,在构造一个 列表页 的函数

def get_more_pages(start,end):    for one in range(start,end):        get_page(url+str(one))        time.sleep(2)
课时12-如何获取网页中的动态数据_第3张图片
1.jpg

你可能感兴趣的:(课时12-如何获取网页中的动态数据)