python selenium 抓包代码封装

# 导入selenium模块中的web引擎
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from pyquery import PyQuery as pq
# 时间 下载工具包
import time, wget, os


class Network(object):
    def __init__(self, url, seconds=10):
        # 这个是一个用来控制chrome以无界面模式打开的浏览器
        # 创建一个参数对象，用来控制chrome以无界面的方式打开
        options = Options()
        options.add_experimental_option('excludeSwitches', ['enable-automation'])
        options.add_argument('--headless')  # 设置Chrome为无头模式
        options.add_argument('--no-sandbox')
        options.add_argument('--disable-dev-shm-usage')
        options.add_argument('blink-settings=imagesEnabled=false')
        options.add_argument('--disable-gpu')
        # 建立浏览器对象 ，通过Phantomjs
        self.browser = webdriver.Chrome(options=options)
        self.url = url
        # 发起请求
        self.browser.get(url)
        time.sleep(3)  # 等待3s
        # 等待一定时间，让js脚本加载完毕
        self.browser.implicitly_wait(seconds)  # seconds 隐式等待

        # 静态文件，图片地址
        cur_dir = os.path.split(os.path.realpath(__file__))[0]
        self.static_src = os.path.abspath(cur_dir + '/./../static/')

        # 常用变量 页面源码，挂载在jq上
        self.JQuery = pq(self.browser.page_source)

    # 浏览器器对象
    def bom(self):
        return self.browser

    # 关闭浏览器
    def close_browser(self):
        self.browser.quit()

    # 模拟浏览器抓取数据主业务 重构 返回浏览器对象
    def main(self, url='', seconds=20):
        # 访问url
        if url == '':
            url = self.url

        self.browser.get(url)
        time.sleep(3)  # 等待3s
        # 等待一定时间，让js脚本加载完毕
        self.browser.implicitly_wait(seconds)  # seconds 隐式等待
        #页面源码 页面源码，挂载在jq上
        self.JQuery = pq(self.browser.page_source)
        return self.browser

    # 如果列表的长度为1强制转换为字典
    def list_or_dict(self, arr):
        if len(arr) == 1:
            return arr[0]
        else:
            return arr

    # 通过tagName获取对象
    def tag_name(self, tag_name):
        return self.list_or_dict(self.browser.find_elements_by_tag_name(tag_name))

    # 通过id获取对象
    def id(self, id):
        return self.browser.find_element_by_id(id)

    # 通过className 获取对象
    def class_name(self, class_name):
        return self.list_or_dict(self.browser.find_elements_by_class_name(class_name))

    # 通过a标签href属性获取对象 用链接文本定位超链接
    def href_name(self, href_name):
        return self.list_or_dict(self.browser.find_elements_by_partial_link_text(href_name))

    # css选择器定位
    def css_selector(self, css_selector):
        return self.list_or_dict(self.browser.find_elements_by_css_selector(css_selector))

    # find 定位选择
    def find(self, element, name):
        if element.find_elements_by_css_selector(name):
            return element.find_elements_by_css_selector(name)

    # 获取元素的属性
    def attr(self, element, attr_name):
        if isinstance(element, list):
            arr = []
            for e in element:
                arr.append(e.get_attribute(attr_name))
            return arr
        else:
            return element.get_attribute(attr_name)

    # 获取元素的文本
    def text(self, element):
        if isinstance(element, list):
            arr = []
            for e in element:
                arr.append(e.text)
            return arr
        else:
            return element.text

    # 获取页面body数据
    def get_body(self):
        # 返回body对象
        return self.tag_name('body')[0]

    # 下载文件，图片等
    def download(self, urls, dir=''):
        # 判断url的数据属性
        if isinstance(urls, list):
            for url in urls:
                # 下载文件参数 文件url 保存的地址
                f_name = url.split('/')[-1]
                if dir != '':
                    wget.download(url, os.path.abspath(dir + '/' + f_name))
                else:
                    wget.download(url, os.path.abspath(self.static_src + '/' + f_name))
        else:
            # 下载文件参数 文件url 保存的地址
            f_name = urls.split('/')[-1]
            if dir != '':
                wget.download(urls, os.path.abspath(dir + '/' + f_name))
            else:
                wget.download(urls, os.path.abspath(self.static_src + '/' + f_name))
        return True

# 调用

 

# 设置访问的url
url = "https://www.runoob.com/python3/python3-namespace-scope.html"
# 初始化实例
net = Network(url)

ths=net.JQuery.find('.table_wrapper-table thead th').items()
trs=net.JQuery.find('.table_wrapper-table tbody tr')
trs_len=trs.length
# 临时变量 存储 key名称