动态页面数据加载不全的问题

一、scrapy splash 实现下滑加载

def start_requests(self):

        script = """

                function main(splash)

                    splash:set_viewport_size(1028, 10000)

                    splash:go(splash.args.url)

                    local scroll_to = splash:jsfunc("window.scrollTo")

                    scroll_to(0, 2000)

                    splash:wait(15)

                    return {

                        html = splash:html()

                    }

                end

                """

        for url in self.start_urls:

            yield Request(url,callback=self.parse_info_index,meta = {

                'dont_redirect': True,

                'splash':{

                    'args':{'lua_source':script,'images':0},

                    'endpoint':'execute',

                }

            })

二、webdriver 也类似处理页面需要滑动到底部让js执行完成

1. 页面滑动

2. 页面内的div滑动