selenium实现爬取隐藏标签的内容

 

 

 

js1 = '''var x = document.evaluate("'''+loop_xpath+'''",document,null,XPathResult.UNORDERED_NODE_SNAPSHOT_TYPE,null); 
        var i; 
        console.log(x.snapshotLength)
        for (i = 0; i < x.snapshotLength; i++) 
        {var thisele = x.snapshotItem(i); thisele.setAttribute("class", "1");}'''
self.driver.execute_script(js1)

通过selenium 执行js代码来实现

注意：js的evaluate实现用xpath定位元素，

selenium 的findelementsByxpath函数可以将隐藏及非隐藏的所有标签选中，但采集时，隐藏标签的本文采集的为空

在用js时：尽量不要用BYclass选出结果集，再对结果集的class的属性名进行修改