python+selenium提取数据

当通过python+selenium在抓取数据的时候,获取不到相应数据时,可以尝试先检查抓出数据的分析界面

html = browser.page_source
        doc = pq(html)
        d = doc(
            '#articleListTable > div:nth-child(n) > a:lt(15)')
        print(d)

得出页面抓取数据结果

python+selenium提取数据_第1张图片

数据不在通常的和

  • 的标签之下,直接是一个a标签。在提取数据时也就不用通过find来提取其后的文本数据,可以直接.text()提取数据。。a标签中的网址链接也不用再在item.find('a').attr('href)提取。可以直接item.attr('href')提取链接。

    item.find('a').attr('href')

     

  • 你可能感兴趣的:(python,selenium,测试工具,python)