Art_s

一个神奇的自动化爬虫利器 - DrissionPagae

DrissionPagae

DrissionPage：类似 selenuium 的网页自动化工具。这是一个基于 Python 的网页自动化工具，支持 Chromium 内核浏览器。它将控制浏览器和收发请求两大功能合二为一，并提供了统一、简洁的接口。

环境
操作系统：Windows、Linux 或 Mac。
python 版本：3.6 及以上
支持应用：Chromium 内核浏览器（如 Chrome、Edge），electron 应用

优势

无 webdriver 特征
无需为不同版本的浏览器下载不同的驱动
运行速度更快
可以跨</code>查找元素，无需切入切出</li> <li>把<code><iframe></code>看作普通元素，获取后可直接在其中查找元素，逻辑更清晰</li> <li>可以同时操作浏览器中的多个标签页，即使标签页为非激活状态，无需切换</li> <li>可以直接读取浏览器缓存来保存图片，无需用 GUI 点击另存</li> <li>可以对整个网页截图，包括视口外的部分（90以上版本浏览器支持）</li> <li>可处理非<code>open</code>状态的 shadow-root</li> <li>支持应用：Chromium 内核浏览器（如 Chrome、Edge），electron 应用</li> </ul> <p>可能之所以不被检测到，是因为DrissionPage的底层基于cdp协议(Chrome DevTools Protocol)），<br> 以下是懒神推荐读的cdp代码 https://chromedevtools.github.io/devtools-protocol/<br> <strong>什么是cdp</strong><br> 众所周知F12能够打开开发者工具Q进行调试，开发者工具即DevTools大家应该都知道，那么ChromeDevTools就是用的CDP协议来跟浏览器进行交互的调试等一系列操作的。CDP是通过RESTfulAPI提供了对浏览器内部运行情况的访问，可以通过这些API来控制Chrome浏览器的行为，来做到与DevTools类似的功能：获取页面信息、监控网络活动、执行JS等操作。cdp协议简称chrome调试协议，是基于scoket（websocketQ、usb、adb）消息的jsonrpc协议。用来调用chrome内部的方法实现js，css，dom的开发调试。可以将实现了cdp协议的应用看做rpc调用的服务端（chrome，puppeteer），将调试面板看做rpc调用的客户端（devtools）。</p> <pre><code>pip install DrissionPage #更新较快，快进行更新 pip install DrissionPage --upgrade </code></pre> <h4>默认配置</h4> <p>默认配置在这里</p> <pre><code>D:\ruanjian\PY\Miniconda3\Lib\site-packages\DrissionPage\_configs\config.ini </code></pre> <pre><code>[paths] download_path = tmp_path = [chromium_options] address = 127.0.0.1:9222 browser_path = chrome arguments = ['--no-default-browser-check', '--disable-suggestions-ui', '--no-first-run', '--disable-infobars', '--disable-popup-blocking', '--hide-crash-restore-bubble', '--disable-features=PrivacySandboxSettings4'] extensions = [] prefs = {'profile.default_content_settings.popups': 0, 'profile.default_content_setting_values': {'notifications': 2}} flags = {} load_mode = normal user = Default auto_port = False system_user_path = False existing_only = False [session_options] headers = {'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/603.3.8 (KHTML, like Gecko) Version/10.1.2 Safari/603.3.8', 'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8', 'connection': 'keep-alive', 'accept-charset': 'GB2312,utf-8;q=0.7,*;q=0.7'} [timeouts] base = 10 page_load = 30 script = 30 [proxies] http = https = [others] retry_times = 3 retry_interval = 2 </code></pre> <h2>SessionPage</h2> <p><code>SessionPage</code>对象和<code>WebPage</code>对象的 s 模式，可用收发数据包的形式访问网页。</p> <p>顾名思义，<code>SessionPage</code>是一个使用使用<code>Session</code>（requests 库）对象的页面，它使用 POM 模式封装了网络连接和 html 解析功能，使收发数据包也可以像操作页面一样便利。</p> <p>并且，由于加入了本库独创的查找元素方法，使数据的采集便利性远超 requests + beautifulsoup 等组合。</p> <h3>创建页面对象</h3> <h4>通过配置信息创建</h4> <p>如果需要在使用前进行一些配置，可使用SessionOptions。它是专门用于设置Session对象初始状态的类，内置了常用的配置。详细使用方法见“启动配置”一节。</p> <p><strong>从指定 ini 文件创建</strong><br> 以上方法是使用默认 ini 文件中保存的配置信息创建对象，你可以保存一个 ini 文件到别的地方，并在创建对象时指定使用它。</p> <pre><code>from DrissionPage import SessionPage, SessionOptions # 创建配置对象时指定要读取的ini文件路径 so = SessionOptions(ini_path=r'./config1.ini') # 使用该配置对象创建页面 page = SessionPage(session_or_options=so) </code></pre> <p><strong>不使用 ini 文件</strong><br> 可以用以下方法，指定不使用 ini 文件的配置，而把配置写在代码中。</p> <pre><code>from DrissionPage import SessionPage, SessionOptions so = SessionOptions(read_file=False) # read_file设为False so.set_retry(5) page = SessionPage(so) </code></pre> <h4>传递控制权</h4> <p>当需要使用多个页面对象共同操作一个页面时，可在页面对象创建时接收另一个页面间对象传递过来的Session对象，以达到多个页面对象同时使用一个Session对象的效果。</p> <pre><code># 创建一个页面 page1 = SessionPage() # 获取页面对象内置的Session对象 session = page1.session # 在第二个页面对象初始化时传递该对象 page2 = SessionPage(session_or_options=session) </code></pre> <h3>访问</h3> <h4>get</h4> <p><code>get()</code>方法语法与 requests 的<code>get()</code>方法一致，在此基础上增加了连接失败重试功能。与 requests 不一样的是，它不返回<code>Response</code>对象。</p> <table> <thead> <tr> <th>参数名称</th> <th>类型</th> <th>默认值</th> <th>说明</th> </tr> </thead> <tbody> <tr> <td><code>url</code></td> <td><code>str</code></td> <td>必填</td> <td>目标 url</td> </tr> <tr> <td><code>show_errmsg</code></td> <td><code>bool</code></td> <td><code>False</code></td> <td>连接出错时是否显示和抛出异常</td> </tr> <tr> <td><code>retry</code></td> <td><code>int</code></td> <td><code>None</code></td> <td>重试次数，为<code>None</code>时使用页面参数，默认 3</td> </tr> <tr> <td><code>interval</code></td> <td><code>float</code></td> <td><code>None</code></td> <td>重试间隔（秒），为<code>None</code>时使用页面参数，默认 2</td> </tr> <tr> <td><code>timeout</code></td> <td><code>float</code></td> <td><code>None</code></td> <td>加载超时时间（秒）</td> </tr> <tr> <td><code>**kwargs</code></td> <td>-</td> <td><code>None</code></td> <td>连接所需其它参数，具体见 requests 用法</td> </tr> </tbody> </table> <p><strong>读取本地文件</strong><br> <code>get()</code>的<code>url</code>参数可指向本地文件，实现本地 html 解析。</p> <pre><code>from DrissionPage import SessionPage page = SessionPage() page.get(r'D:\demo.html') </code></pre> <p><strong>访问在线网页</strong></p> <pre><code class="prism language-python"><span class="token keyword">from</span> DrissionPage <span class="token keyword">import</span> SessionPage page <span class="token operator">=</span> SessionPage<span class="token punctuation">(</span><span class="token punctuation">)</span> url <span class="token operator">=</span> <span class="token string">'https://www.baidu.com'</span> headers <span class="token operator">=</span> <span class="token punctuation">{</span><span class="token string">'referer'</span><span class="token punctuation">:</span> <span class="token string">'gitee.com'</span><span class="token punctuation">}</span> cookies <span class="token operator">=</span> <span class="token punctuation">{</span><span class="token string">'name'</span><span class="token punctuation">:</span> <span class="token string">'value'</span><span class="token punctuation">}</span> proxies <span class="token operator">=</span> <span class="token punctuation">{</span><span class="token string">'http'</span><span class="token punctuation">:</span> <span class="token string">'127.0.0.1:1080'</span><span class="token punctuation">,</span> <span class="token string">'https'</span><span class="token punctuation">:</span> <span class="token string">'127.0.0.1:1080'</span><span class="token punctuation">}</span> page<span class="token punctuation">.</span>get<span class="token punctuation">(</span>url<span class="token punctuation">,</span> headers<span class="token operator">=</span>headers<span class="token punctuation">,</span> cookies<span class="token operator">=</span>cookies<span class="token punctuation">,</span> proxies<span class="token operator">=</span>proxies<span class="token punctuation">)</span> </code></pre> <h4>post</h4> <p>post 方式请求页面。用法与get()一致。返回bool</p> <pre><code># 向 data 参数传入字符串 page.post(url, data='abc=123') # 向 data 参数传入字典 page.post(url, data={'abc': '123'}) # 向 json 参数传入字符串 page.post(url, json='abc=123') # 向 json 参数传入字典 page.post(url, json={'abc': '123'}) page.json() </code></pre> <h2>ChromiumPage</h2> <p><code>ChromiumPage</code>对象和<code>WebPage</code>对象的 d 模式，可操控浏览器。本章介绍<code>ChromiumPage</code>。</p> <p>顾名思义，<code>ChromiumPage</code>是 Chromium 内核浏览器的页面，它用 POM 方式封装了操控网页所需的属性和方法。</p> <p>使用它，我们可与网页进行交互，如调整窗口大小、滚动页面、操作弹出框等等。</p> <p>通过从中获取的元素对象，我们还可以跟页面中的元素进行交互，如输入文字、点击按钮、选择下拉菜单等等。</p> <p>甚至，我们可以在页面或元素上运行 JavaScript 代码、修改元素属性、增删元素等。</p> <p>除了与页面和元素的交互，<code>ChromiumPage</code>还扮演着浏览器控制器的角色，可以说，一个<code>ChromiumPage</code>对象，就是一个浏览器。</p> <p>它可以对标签页进行管理，可以对下载任务进行控制。可以为每个标签页生成独立的页面对象（<code>ChromiumTab</code>），以实现多标签页同时操作，而无需切入切出。</p> <ul> <li>ChromiumPage()参数 <ul> <li>addr_or_opts: 浏览器地址:端口、ChromiumOptions对象或端口数字（int）</li> <li>tab_id: 要控制的标签页id，不指定默认为激活的</li> <li>timeout: 超时时间（秒）</li> </ul> </li> </ul> <h3>启动或接管浏览器</h3> <p>会使用默认配置，自动生成页面对象<br> 只要这个浏览器不关闭，下次运行程序时会接管同一个浏览器继续操作（配置的 ip: port 信息不变）。这种方式极大地方便了程序的调试，使程序不必每次重新开始，可以单独调试某个功能。</p> <pre><code>from DrissionPage import ChromiumPage # 创建对象同时启动浏览器，如果浏览器已经存在，则接管它 page = ChromiumPage() </code></pre> <h4>接管已打开的浏览器</h4> <p>页面对象创建时，只要指定的地址（ip: port）已有浏览器在运行，就会直接接管。无论浏览器是下面哪种方式启动的。</p> <h4>多浏览器共存(推荐)</h4> <p>如果想要同时操作多个浏览器，或者自己在使用其中一个上网，同时控制另外几个跑自动化，就需要给这些被程序控制的浏览器设置单独的<strong>端口</strong>和<strong>用户文件夹</strong>，否则会造成冲突。</p> <pre><code class="prism language-python"><span class="token keyword">from</span> DrissionPage <span class="token keyword">import</span> ChromiumPage<span class="token punctuation">,</span> ChromiumOptions co <span class="token operator">=</span> ChromiumOptions<span class="token punctuation">(</span><span class="token punctuation">)</span><span class="token punctuation">.</span>set_paths<span class="token punctuation">(</span>local_port<span class="token operator">=</span><span class="token number">9999</span><span class="token punctuation">,</span> user_data_path<span class="token operator">=</span><span class="token string">'./user_data'</span><span class="token punctuation">)</span> page <span class="token operator">=</span> ChromiumPage<span class="token punctuation">(</span>addr_or_opts<span class="token operator">=</span>co<span class="token punctuation">)</span> page<span class="token punctuation">.</span>get<span class="token punctuation">(</span><span class="token string">'https://www.baidu.com'</span><span class="token punctuation">)</span> </code></pre> <p>ChromiumOptions对象的<code>auto_port()</code>方法，可以指定程序每次使用空闲的端口和临时用户文件夹创建浏览器。也是每个浏览器要使用独立的ChromiumOptions对象。但这种方法创建的浏览器不能重复使用。</p> <pre><code class="prism language-python"><span class="token comment"># 初始化Chromium浏览器选项</span> co <span class="token operator">=</span> ChromiumOptions<span class="token punctuation">(</span><span class="token punctuation">)</span><span class="token punctuation">.</span>auto_port<span class="token punctuation">(</span><span class="token punctuation">)</span> <span class="token comment"># 创建Chromium页面对象</span> page <span class="token operator">=</span> ChromiumPage<span class="token punctuation">(</span>co<span class="token punctuation">)</span> </code></pre> <h4>使用系统浏览器用户目录</h4> <p>这种情况下用户不能打开一个浏览器使用<br> 初始默认配置下，程序会为每个使用的端口创建空的用户目录，并且每次接管都使用，这样可以有效避免浏览器冲突。</p> <p>有些时候我们希望使用系统安装的浏览器的默认用户文件夹。以便复用用户信息和插件等。</p> <pre><code class="prism language-python"><span class="token keyword">from</span> DrissionPage <span class="token keyword">import</span> ChromiumPage<span class="token punctuation">,</span> ChromiumOptions co <span class="token operator">=</span> ChromiumOptions<span class="token punctuation">(</span><span class="token punctuation">)</span><span class="token punctuation">.</span>use_system_user_path<span class="token punctuation">(</span><span class="token punctuation">)</span> page <span class="token operator">=</span> ChromiumPage<span class="token punctuation">(</span>co<span class="token punctuation">)</span> </code></pre> <p><strong>使用 ini 文件</strong><br> 把这个配置记录到 ini 文件，就不用每次使用都配置。</p> <pre><code>from DrissionPage import ChromiumOptions ChromiumOptions().use_system_user_path().save() </code></pre> <h3>ChromiumOptions对象</h3> <h4>命令行参数设置</h4> <p>ChromiumOptions对象下的方法</p> <blockquote> <p>[!NOTE] set_argument():用于设置启动参数。</p> <ul> <li>arg [str] 必填启动参数名称</li> <li>value[str|None|False]=None 参数的值。带值的参数传入属性值，没有值的传入None。如传入False，删除该参数。</li> </ul> </blockquote> <blockquote> <p>[!NOTE] remove_argument()<br> Contents</p> </blockquote> <blockquote> <p>[!NOTE] clear_arguments()<br> Contents</p> </blockquote> <pre><code class="prism language-python"><span class="token comment"># 设置启动时最大化</span> co<span class="token punctuation">.</span>set_argument<span class="token punctuation">(</span><span class="token string">'--start-maximized'</span><span class="token punctuation">)</span> <span class="token comment"># 设置初始窗口大小</span> co<span class="token punctuation">.</span>set_argument<span class="token punctuation">(</span><span class="token string">'--window-size'</span><span class="token punctuation">,</span> <span class="token string">'800,600'</span><span class="token punctuation">)</span> <span class="token comment"># 使用来宾模式打开浏览器</span> co<span class="token punctuation">.</span>set_argument<span class="token punctuation">(</span><span class="token string">'--guest'</span><span class="token punctuation">)</span> <span class="token comment">#禁用通知警告</span> co<span class="token punctuation">.</span>set_argument<span class="token punctuation">(</span><span class="token string">'--disable-notifications'</span><span class="token punctuation">)</span> <span class="token comment">#禁止所有弹出窗口</span> co<span class="token punctuation">.</span>set_pref<span class="token punctuation">(</span>arg<span class="token operator">=</span><span class="token string">'profile.default_content_settings.popups'</span><span class="token punctuation">,</span> value<span class="token operator">=</span><span class="token string">'0'</span><span class="token punctuation">)</span> <span class="token comment">#阻止“自动保存密码”的提示气泡</span> co<span class="token punctuation">.</span>set_pref<span class="token punctuation">(</span><span class="token string">'credentials_enable_service'</span><span class="token punctuation">,</span> <span class="token boolean">False</span><span class="token punctuation">)</span> <span class="token comment">#阻止“要恢复页面吗？Chrome未正确关闭”的提示气泡</span> co<span class="token punctuation">.</span>set_argument<span class="token punctuation">(</span><span class="token string">'--hide-crash-restore-bubble'</span><span class="token punctuation">)</span> <span class="token comment">#通知用户他们的浏览器是由自动测试控制的。</span> co<span class="token punctuation">.</span>set_argument<span class="token punctuation">(</span><span class="token string">'--enable-automation'</span><span class="token punctuation">)</span> </code></pre> <h4>运行路径及端口</h4> <p> set_browser_path()<br> set_tmp_path()<br> set_local_port()<br> set_address()<br> auto_port()<br> set_user_data_path()<br> use_system_user_path()<br> set_cache_path()<br> existing_only()<br> 使用插件<br> add_extension()<br> remove_extensions()</p> <h4>方法</h4> <p><strong>参数</strong></p> <ul> <li>ChromiumOptions() <ul> <li>read_file=True,</li> <li>ini_path=None<br> <strong>方法</strong><br> <code>ChromiumOptions()对象.方法名</code></li> </ul> </li> </ul> <p><strong>运行参数设置</strong></p> <ul> <li> <p>set_timeouts(base,page_load,script):用于设置几种超时时间,以秒为单位</p> <ul> <li>base默认超时时间，用于元素等待、alert 等待、WebPage的 s 模式连接等等，除以下两个参数的场景，都使用这个设置</li> <li>page_load 页面加载超时时间</li> <li>script JavaScript 运行超时时间</li> </ul> </li> <li> <p>set_load_mode():用于设置网页加载策略。加载策略是指强制页面停止加载的时机，如加载完 DOM 即停止，不加载图片资源等，以提高自动化效率。</p> <ul> <li><code>'normal'</code>：阻塞进程，等待所有资源下载完成（默认）</li> <li><code>'eager'</code>：DOM 就绪即停止加载</li> <li><code>'none'</code>：网页连接成功即停止加载</li> </ul> </li> <li> <p>set_proxy()：用于设置浏览器代理。</p> </li> </ul> <p><strong>常用设置</strong></p> <ul> <li> <p>set_paths():快捷的路径设置函数</p> <ul> <li>browser_path: 浏览器可执行文件路径<code>C:\Program Files\Google\Chrome\Application\chrome.exe</code></li> <li>local_port: 本地端口号</li> <li>address: 调试浏览器地址，例：127.0.0.1:9222</li> <li>download_path: 下载文件路径</li> <li>user_data_path: 用户数据路径</li> <li>cache_path: 缓存路径</li> </ul> </li> <li> <p>一般来说用户文件夹的名称是 <code>User Data</code>。对于默认情况下的 Windows 中的 Chrome 浏览器来说，此文件夹位于 <code>%USERPROFILE%\AppData\Local\Google\Chrome\User Data\</code></p> </li> <li> <p>实际路径请在浏览器输入 <code>chrome://version/</code>，查阅其中的<code>个人资料路径</code>或者叫<code>用户配置路径</code>。</p> </li> <li> <p> set_tmp_path()：用于设置临时文件存放路径。</p> </li> <li> <p> auto_port():设置是否使用自动分配的端口，启动一个全新的浏览器。</p> <ul> <li>如果设置为True，程序会自动寻找一个可用端口，并在指定路径或系统临时文件夹创建一个文件夹，用于储存浏览器数据。</li> <li>由于端口和用户文件夹都是唯一的，所以用这种方式启动的浏览器不会产生冲突，但也无法多次启动程序时重复接管同一个浏览器。</li> <li>set_local_port()、set_address()和set_user_data_path()方法，会和auto_port()互相覆盖，即以后调用的为准。</li> </ul> </li> <li> <p> set_user_data_path()此方法用于设置用户文件夹路径。用户文件夹用于存储当前登陆浏览器的账号在使用浏览器时留下的痕迹，包括设置选项等。</p> </li> <li> <p> use_system_user_path()：设置是否使用系统安装的浏览器默认用户文件夹</p> </li> <li> <p> existing_only()：设置是否仅使用已启动的浏览器，如连接目标浏览器失败，会抛出异常，不会启动新浏览器。</p> <ul> <li>on_off bool True bool表示开关</li> </ul> </li> </ul> <h4>属性</h4> <p> address为要控制的浏览器地址，格式为 ip:port，默认为’127.0.0.0:9222’。类型：str<br> browser_path:该属性返回浏览器可执行文件的路径。类型：str<br> user_data_path<br> 该属性返回用户数据文件夹路径。<br> 类型：str<br> tmp_path:该属性返回临时文件夹路径，可用于保存自动分配的用户文件夹路径。类型：str<br> download_path<br> 该属性返回默认下载路径文件路径。<br> 类型：str<br> user:该属性返回用户配置文件夹名称。类型：str<br> load_mode该属性返回页面加载策略。有’normal’、‘eager’、'none’三种 ,类型：str<br> timeouts:该属性返回超时设置。包括三种：‘base’、‘page_load’、‘script’。类型：dict<br> print(co.timeouts)<br> 输出：</p> <pre><code>{ 'base': 10, 'page_load': 30, 'script': 30 } </code></pre> <p> retry_times该属性返回连接失败时的重试次数。类型：int<br> retry_interval该属性返回连接失败时的重试间隔（秒）。类型：float<br> proxy该属性返回代理设置。类型：str<br> arguments该属性以list形式返回浏览器启动参数。类型：list<br> extensions该属性以list形式返回要加载的插件路径。类型：list<br> preferences该属性返回用户首选项配置。类型：dict<br> system_user_path该属性返回是否使用系统按照的浏览器的用户文件夹。类型：bool<br> is_existing_only该属性返回是否仅使用已打开的浏览器。类型：bool<br> is_auto_port:该属性返回是否仅使用自动分配端口和用户文件夹路径。类型：bool</p> <h3>访问网页</h3> <p><code>ChromiumPage</code>对象和<code>WebPage</code>对象的 d 模式都能控制浏览器访问网页。这里只对<code>ChromiumPage</code>进行说明</p> <ul> <li>get()：用于跳转到一个网址。当连接失败时，程序会进行重试。</li> </ul> <table> <thead> <tr> <th>参数名称</th> <th>类型</th> <th>默认值</th> <th>说明</th> </tr> </thead> <tbody> <tr> <td><code>url</code></td> <td><code>str</code></td> <td>必填</td> <td>目标 url，可指向本地文件路径</td> </tr> <tr> <td><code>show_errmsg</code></td> <td><code>bool</code></td> <td><code>False</code></td> <td>连接出错时是否显示和抛出异常</td> </tr> <tr> <td><code>retry</code></td> <td><code>int</code></td> <td><code>None</code></td> <td>重试次数，为<code>None</code>时使用页面参数，默认 3</td> </tr> <tr> <td><code>interval</code></td> <td><code>float</code></td> <td><code>None</code></td> <td>重试间隔（秒），为<code>None</code>时使用页面参数，默认 2</td> </tr> <tr> <td><code>timeout</code></td> <td><code>float</code></td> <td><code>None</code></td> <td>加载超时时间（秒）</td> </tr> </tbody> </table> <h4>加载模式</h4> <p>加载模式是指程序在页面加载阶段的行为模式，有以下三种：</p> <ul> <li> <p><code>normal()</code>：常规模式，会等待页面加载完毕，超时自动重试或停止，默认使用此模式</p> </li> <li> <p><code>eager()</code>：加载完 DOM 或超时即停止加载，不加载页面资源</p> </li> <li> <p><code>none()</code>：超时也不会自动停止，除非加载完成</p> </li> <li> <p>前两种模式下，页面加载过程会阻塞程序，直到加载完毕才执行后面的操作。</p> </li> <li> <p><code>none()</code>模式下，只在连接阶段阻塞程序，加载阶段可自行根据情况执行<code>stop_loading()</code>停止加载。</p> </li> <li> <p>这样提供给用户非常大的自由度，可等到关键数据包或元素出现就主动停止页面加载，大幅提升执行效率。</p> </li> <li> <p><strong>加载完成</strong>是指主文档完成，并不包括由 js 触发的加载和重定向的加载。当文档加载完成，程序就判断加载完毕，此后发生的重定向或 js 加载数据需用其它逻辑处理。</p> </li> </ul> <p><strong>配置对象中设置</strong></p> <pre><code>from DrissionPage import ChromiumOptions, ChromiumPage co = ChromiumOptions().set_load_mode('none') page = ChromiumPage(co) </code></pre> <p><strong>运行中设置</strong></p> <pre><code>from DrissionPage import ChromiumPage page = ChromiumPage() page.set.load_mode.none() </code></pre> <h4><code>none</code>模式技巧</h4> <p>示例 1，配合监听器</p> <p>跟监听器配合，可在获取到需要的数据包时，主动停止加载。</p> <pre><code>from DrissionPage import ChromiumPage page = ChromiumPage() page.set.load_mode.none() # 设置加载模式为none page.listen.start('api/getkeydata') # 指定监听目标并启动监听 page.get('http://www.hao123.com/') # 访问网站 packet = page.listen.wait() # 等待数据包 page.stop_loading() # 主动停止加载 print(packet.response.body) # 打印数据包正文 </code></pre> <p>示例 2，配合元素查找</p> <p>跟元素查找配合，可在获取到某个指定元素时，主动停止加载。</p> <pre><code>from DrissionPage import ChromiumPage page = ChromiumPage() page.set.load_mode.none() # 设置加载模式为none page.get('http://www.hao123.com/') # 访问网站 ele = page.ele('中国日报') # 查找text包含“中国日报”的元素 page.stop_loading() # 主动停止加载 print(ele.text) # 打印元素text </code></pre> <p>示例 2，配合页面特征</p> <p>可等待到页面到达某种状态时，主动停止加载。比如多级跳转的登录，可等待 title 变化到最终目标网址时停止。</p> <pre><code>from DrissionPage import ChromiumPage page = ChromiumPage() page.set.load_mode.none() # 设置加载模式为none page.get('http://www.hao123.com/') # 访问网站 page.wait.title_change('hao123') # 等待title变化出现目标文本 page.stop_loading() # 主动停止加载 </code></pre> <h3>获取网页信息</h3> <p>成功访问网页后，可使用<code>ChromiumPage</code>自身属性和方法获取页面信息。</p> <p>操控浏览器除了<code>ChromiumPage</code>，还有<code>ChromiumTab</code>和<code>ChromiumFrame</code>两种页面对象分别对应于标签页对象和<code><iframe></code>元素对象，后面会有单独章节介绍。</p> <h4>页面信息</h4> <p> html:返回当前页面 html 文本。<br> json：把请求内容解析成 json。<br> title：返回当前页面title文本。<br> user_agent：返回当前页面 user agent 信息。<br> browser_version：返回当前浏览器版本号。<br> save()：把当前页面保存为文件，同时返回保存的内容。</p> <table> <thead> <tr> <th>参数名称</th> <th>类型</th> <th>默认值</th> <th>说明</th> </tr> </thead> <tbody> <tr> <td><code>path</code></td> <td><code>str</code> <br><code>Path</code></td> <td><code>None</code></td> <td>保存路径，为<code>None</code>且<code>name</code>不为<code>None</code>时保存到当前路径</td> </tr> <tr> <td><code>name</code></td> <td><code>str</code></td> <td><code>None</code></td> <td>保存的文件名，为<code>None</code>且<code>path</code>不为<code>None</code>时使用 title 值</td> </tr> <tr> <td><code>as_pdf</code></td> <td><code>bool</code></td> <td><code>False</code></td> <td>为<code>Ture</code>保存为 pdf，否则保存为 mhtml 且忽略<code>kwargs</code>参数</td> </tr> <tr> <td><code>**kwargs</code></td> <td>多种</td> <td>无</td> <td>pdf 生成参数</td> </tr> </tbody> </table> <h4>运行状态信息</h4> <p> url：返回当前访问的 url。<br> address：返回当前对象控制的页面地址和端口。<br> tab_id：返回当前标签页的 id。<br> process_id：返回浏览器进程 id。<br> states.is_loading：返回页面是否正在加载状态。<br> states.is_alive：返回页面是否仍然可用，标签页已关闭则返回False。</p> <ul> <li> states.ready_state：返回页面当前加载状态，有 4 种： <ul> <li>‘connecting’：网页连接中</li> <li><code>'loading'</code>：表示文档还在加载中</li> <li><code>'interactive'</code>：DOM 已加载，但资源未加载完成</li> <li><code>'complete'</code>：所有内容已完成加载<br> url_available：以布尔值返回当前链接是否可用。<br> states.has_alert：以布尔值返回页面是否存在弹出框。</li> </ul> </li> </ul> <h4>窗口信息</h4> <ul> <li> <code>rect.size</code>:以tuple返回页面大小，格式：(宽, 高)。</li> <li> r<code>ect.window_size</code>:以tuple返回窗口大小，格式：(宽, 高)。</li> <li> <code>rect.window_location</code>:以<code>tuple</code>返回窗口在屏幕上的坐标，左上角为(0, 0)。</li> <li> <code>rect.window_state</code>：以返回窗口当前状态，有<code>'normal'</code>、<code>'fullscreen'</code>、<code>'maximized'</code>、 <code>'minimized'</code>几种。</li> <li> rect.viewport_size:以<code>tuple</code>返回视口大小，不含滚动条，格式：(宽, 高)。</li> <li> <code>rect.viewport_size_with_scrollbar</code>：以<code>tuple</code>返回浏览器窗口大小，含滚动条，格式：(宽, 高)。</li> <li> <code>rect.page_location</code>:以<code>tuple</code>返回页面左上角在屏幕中坐标，左上角为(0, 0)。</li> <li> <code>rect.viewport_location</code>:以<code>tuple</code>返回视口在屏幕中坐标，左上角为(0, 0)。</li> </ul> <h4>配置参数信息</h4> <p> <code>timeout</code><br> <code>timeouts</code><br> <code>retry_times</code><br> <code>retry_interval</code><br> <code>load_mode</code></p> <h4>cookies 和缓存信息</h4> <p> <code>cookies()</code>：返回 cookies 信息。<br> <code>session_storage()</code>：用于获取 sessionStorage 信息，可获取全部或单个项。<br> <code>local_storage()</code>：用于获取 localStorage 信息，可获取全部或单个项。</p> <h4>内嵌对象</h4> <p> <code>driver</code>:返回当前页面对象使用的Driver对象。</p> <h3>自动等待</h3> <h4>页面对象的等待</h4> <p><code>wait.load_start()</code>:等待页面进入加载状态后。<br> <code>wait.doc_loaded()</code><br> <code>wait.ele_loaded()</code><br> <code>wait.ele_displayed()</code><br> <code>wait.ele_hidden()</code><br> <code>wait.ele_deleted()</code><br> <code>wait.download_begin()</code><br> <code>wait.upload_paths_inputted()</code><br> <code>wait.new_tab()</code><br> <code>wait.title_change()</code><br> <code>wait.url_change()</code><br> <code>wait()</code></p> <h3>标签页操作</h3> <p>一个 Tab 对象（<code>ChromiumTab</code>和<code>WebPageTab</code>）控制一个浏览器的标签页，是页面控制的主要单位。</p> <p>一个标签页也可以被多个 Tab 对象同时控制（需禁用单例）。</p> <p>DrissionPage 支持多 tab 对象共存，对象之间互不影响，而且标签页无需激活即可操作。</p> <p>多标签页用法<br> 标签页总览<br> tabs_count<br> tab_ids</p> <h4>新建标签页</h4> <ul> <li>new_tab()</li> </ul> <table> <thead> <tr> <th>参数名称</th> <th>类型</th> <th>默认值</th> <th>说明</th> </tr> </thead> <tbody> <tr> <td><code>url</code></td> <td><code>str</code> <br><code>None</code></td> <td><code>None</code></td> <td>新标签页访问的网址，不传入则新建空标签页</td> </tr> <tr> <td><code>new_window</code></td> <td><code>bool</code></td> <td><code>False</code></td> <td>是否在新窗口打开标签页</td> </tr> <tr> <td><code>background</code></td> <td><code>bool</code></td> <td><code>False</code></td> <td>是否不激活新标签页，如<code>new_window</code>为<code>True</code>则无效</td> </tr> <tr> <td><code>new_context</code></td> <td><code>bool</code></td> <td><code>False</code></td> <td>是否创建新的上下文，为<code>True</code>则打开一个无痕模式的新窗口，新窗口与其它窗口不共用 cookies</td> </tr> </tbody> </table> <ul> <li>wait.new_tab()：用于等待新标签页出现。 <ul> <li>timeout 超时时间，为None时使用页面timeout设置</li> <li>raise_err 等待失败时是否报错，为None时根据Settings设置</li> <li>等待成返回新标签页 id，等待失败返回False</li> </ul> </li> </ul> <h4>获取标签页对象</h4> <ul> <li> get_tab()：获取一个标签页对象。可指定标签页序号、id、标题、url、类型等条件用于检索。</li> <li> get_tabs()：查找符合条件的 tab 对象。可指定标签页标题、url、类型等条件用于检索。 <ul> <li>title str 要匹配的标题文本，模糊匹配，为None则匹配所有</li> <li>url str 要匹配的 url 文本，模糊匹配，为None则匹配所有</li> <li>tab_type 标签页类型，可用列表输入多个，如’page’,'iframe’等，</li> <li>as_id bool 是否返回标签页 id 而不是标签页对象</li> </ul> </li> <li> latest_tab：返回最后激活的标签页对象。指最新出现或最新被激活的标签页。</li> </ul> <pre><code>tab = page.get_tab() # 获取Page对象控制的标签页的Tab对象（即Page和Tab对象同时控制一个标签页） tab = page.get_tab(1) # 获取列表中第1个标签页的对象 tab = page.get_tab('5399F4ADFE3A27503FFAA56390344EE5') # 获取列表中指定id标签页的对象 tab = page.get_tab(url='baidu.com') # 获取所有url中带 'baidu.com' 的标签页对象 </code></pre> <pre><code>from DrissionPage import ChromiumPage page = ChromiumPage() page.get('https://www.baidu.com') page.new_tab('https://www.baidu.com') tabs = page.get_tabs(url='baidu.com') print(tabs) </code></pre> <pre><code># 打开了一个标签页 ele.click() # 获取最新标签页对象 tab = page.latest_tab # 与page.get_tab(0)效果一致 </code></pre> <h4>使用多例</h4> <p>默认情况下，Tab 对象是单例的，即一个标签页只有一个对象，即使重复使用<code>get_tab()</code>，获取的都是同一个对象。</p> <p>这主要是防止新手不理解机制，反复创建多个连接导致资源耗费。</p> <p>实际上允许多个 Tab 对象同时操作一个标签页，每个负责不同的工作。比如一个执行主逻辑流程，另外的监视页面，处理各种弹窗。</p> <p>要允许多例，可用<code>Settings</code>设置：</p> <pre><code>from DrissionPage.common import Settings Settings.singleton_tab_obj = False </code></pre> <pre><code>from DrissionPage import ChromiumPage from DrissionPage.common import Settings page = ChromiumPage() page.new_tab() page.new_tab() # 未启用多例： tab1 = page.get_tab(1) tab2 = page.get_tab(1) print(id(tab1), id(tab2)) # 启用多例： Settings.singleton_tab_obj = False tab1 = page.get_tab(1) tab2 = page.get_tab(1) print(id(tab1), id(tab2)) </code></pre> <h4>关闭和重连</h4> <ul> <li> close():用于标签页关闭自己。Page 对象和 Tab 对象都有此方法。</li> <li> disconnect():用于页面对象断开和浏览器的连接，但不关闭标签页。断开后，对象不能对标签页进行操作。Page 对象和 Tab 对象都有此方法。</li> <li> reconnect():用于关闭与页面连接，然后重建一个新连接。这主要用于应付长期运行导致内存占用过高，断开连接可释放内存，然后重连继续控制浏览器。Page、Tab 和ChromiumFrame对象都有此方法。</li> <li> close_tabs():用于关闭指定的标签页，可关闭多个。默认关闭当前的。只有 Page 对象拥有。 <ul> <li>tabs_or_ids:要处理的标签页对象或 id，可传入列表或元组，为None时处理当前页</li> <li>others [bool]:是否关闭指定标签页之外的</li> </ul> </li> </ul> <h4>激活标签页</h4> <ul> <li> set.tab_to_front()：此方法用于激活标签页使其处于最前面。但不会把当前对象焦点跳转到该标签页。只有 Page 对象拥有</li> <li> set.activate():此方法用于 Tab 对象或 Page 对象激活自己。<br> 多标签页协同</li> </ul> <h3>iframe 操作</h3> <h4>获取<code><iframe></code>对象</h4> <p>获取<code><iframe></code>对象的方法有两种，可用获取普通元素的方式获取，或者用<code>get_frame()</code>方法获取。推荐优先使用<code>get_frame()</code> 方法，因为当作普通元素获取时，IDE 无法正确识别获取到的是<code><iframe></code>元素。</p> <pre><code># 使用定位符获取 iframe = page.get_frame('#sss') # 获取第2个iframe iframe = page.get_frame(1) </code></pre> <p> get_frame()<br> get_frames():获取页面中多个符合条件的<code><frame></code>或<code><iframe></code>对象。获取所有<code><iframe></code>会很慢，而且浪费资源，一般使用获取需要用到的就好。<br> 普通元素方式</p> <h4>查找<code><iframe></code>内元素</h4> <p><strong>在<code><iframe></code>内查找</strong></p> <pre><code># 使用定位符获取 iframe = page.get_frame('#sss') ele = iframe('首页') print(ele) #<ChromiumElement a href='https://www.runoob.com/' data-id='index' title='菜鸟教程' class='current'> </code></pre> <p><strong>页面跨<code><iframe></code>查找</strong><br> 如果<code><iframe></code>元素的网址和主页面是同域的，我们可以直接用页面对象查找<code><iframe></code>内部元素，而无需先获取<code>ChromiumFrame</code>对象：</p> <pre><code class="prism language-python">ele <span class="token operator">=</span> page<span class="token punctuation">(</span><span class="token string">'首页'</span><span class="token punctuation">)</span> <span class="token keyword">print</span><span class="token punctuation">(</span>ele<span class="token punctuation">)</span> <span class="token comment">#<ChromiumElement a href='https://www.runoob.com/' data-id='index' title='菜鸟教程' class='current'></span> </code></pre> <h3>监听网络数据</h3> <p>许多网页的数据来自接口，在网站使用过程中动态加载，如使用 JS 加载内容的翻页列表。</p> <p>这些数据通常以 json 形式发送，浏览器接收后，对其进行解析，再加载到 DOM 相应位置。</p> <p>做数据采集的时候，我们往往从 DOM 中去获取解析后数据的，可能存在数据不全、加载响应不及时、难以判断加载完成等问题。</p> <p>如果我们可以拿到浏览器收发的数据包，根据数据包状态判断下一步操作，甚至直接获取数据，岂不是爽爆了？</p> <p>DrissionPage 每个页面对象（包括 Tab 和 Frame 对象）内置了一个监听器，专门用于抓取浏览器数据包。可以提供等待和捕获指定数据包，实时返回指定数据包功能。</p> <p><strong>等待并获取</strong></p> <pre><code class="prism language-python"><span class="token keyword">from</span> DrissionPage <span class="token keyword">import</span> ChromiumPage page <span class="token operator">=</span> ChromiumPage<span class="token punctuation">(</span><span class="token punctuation">)</span> page<span class="token punctuation">.</span>get<span class="token punctuation">(</span><span class="token string">'https://gitee.com/explore/all'</span><span class="token punctuation">)</span> <span class="token comment"># 访问网址，这行产生的数据包不监听</span> page<span class="token punctuation">.</span>listen<span class="token punctuation">.</span>start<span class="token punctuation">(</span><span class="token string">'gitee.com/explore'</span><span class="token punctuation">)</span> <span class="token comment"># 开始监听，指定获取包含该文本的数据包</span> <span class="token keyword">for</span> _ <span class="token keyword">in</span> <span class="token builtin">range</span><span class="token punctuation">(</span><span class="token number">5</span><span class="token punctuation">)</span><span class="token punctuation">:</span> page<span class="token punctuation">(</span><span class="token string">'@rel=next'</span><span class="token punctuation">)</span><span class="token punctuation">.</span>click<span class="token punctuation">(</span><span class="token punctuation">)</span> <span class="token comment"># 点击下一页</span> res <span class="token operator">=</span> page<span class="token punctuation">.</span>listen<span class="token punctuation">.</span>wait<span class="token punctuation">(</span><span class="token punctuation">)</span> <span class="token comment"># 等待并获取一个数据包</span> <span class="token keyword">print</span><span class="token punctuation">(</span>res<span class="token punctuation">.</span>url<span class="token punctuation">)</span> <span class="token comment"># 打印数据包url</span> </code></pre> <p><strong>实时获取</strong></p> <pre><code class="prism language-python"><span class="token keyword">from</span> DrissionPage <span class="token keyword">import</span> ChromiumPage page <span class="token operator">=</span> ChromiumPage<span class="token punctuation">(</span><span class="token punctuation">)</span> page<span class="token punctuation">.</span>listen<span class="token punctuation">.</span>start<span class="token punctuation">(</span><span class="token string">'gitee.com/explore'</span><span class="token punctuation">)</span> <span class="token comment"># 开始监听，指定获取包含该文本的数据包</span> page<span class="token punctuation">.</span>get<span class="token punctuation">(</span><span class="token string">'https://gitee.com/explore/all'</span><span class="token punctuation">)</span> <span class="token comment"># 访问网址</span> i <span class="token operator">=</span> <span class="token number">0</span> <span class="token keyword">for</span> packet <span class="token keyword">in</span> page<span class="token punctuation">.</span>listen<span class="token punctuation">.</span>steps<span class="token punctuation">(</span><span class="token punctuation">)</span><span class="token punctuation">:</span> <span class="token keyword">print</span><span class="token punctuation">(</span>packet<span class="token punctuation">.</span>url<span class="token punctuation">)</span> <span class="token comment"># 打印数据包url</span> page<span class="token punctuation">(</span><span class="token string">'@rel=next'</span><span class="token punctuation">)</span><span class="token punctuation">.</span>click<span class="token punctuation">(</span><span class="token punctuation">)</span> <span class="token comment"># 点击下一页</span> i <span class="token operator">+=</span> <span class="token number">1</span> <span class="token keyword">if</span> i <span class="token operator">==</span> <span class="token number">5</span><span class="token punctuation">:</span> <span class="token keyword">break</span> </code></pre> <h4>设置目标和启动监听</h4> <ul> <li> listen.start()：用于启动监听器，启动同时可设置获取的目标特征。可设置多个特征，符合条件的数据包会被获取。如果监听未停止时调用这个方法，可清除已抓取的队列。</li> <li> listen.set_targets()：可在监听过程中修改监听目标，也可在监听开始前设置。如监听未启动，不会启动监听。</li> </ul> <p>以上两个函数的参数一样</p> <table> <thead> <tr> <th>参数名称</th> <th>类型</th> <th>默认值</th> <th>说明</th> </tr> </thead> <tbody> <tr> <td><code>targets</code></td> <td><code>str</code> <br><code>list</code> <br><code>tuple</code> <br><code>set</code></td> <td><code>None</code></td> <td>要匹配的数据包 url 特征，可用列表指定多个，为<code>True</code>时获取所有</td> </tr> <tr> <td><code>is_regex</code></td> <td><code>bool</code></td> <td><code>None</code></td> <td>设置的 target 是否正则表达式，为<code>None</code>时保持原来设置</td> </tr> <tr> <td><code>method</code></td> <td><code>str</code> <br><code>list</code> <br><code>tuple</code> <br><code>set</code></td> <td><code>None</code></td> <td>设置监听的请求类型，可指定多个，默认<code>('GET', 'POST')</code>，为<code>True</code>时监听所有，为<code>None</code>时保持原来设置</td> </tr> <tr> <td><code>res_type</code></td> <td><code>str</code> <br><code>list</code> <br><code>tuple</code> <br><code>set</code></td> <td><code>None</code></td> <td>设置监听的 ResourceType 类型，可指定多个，为<code>True</code>时监听所有，为<code>None</code>时保持原来设置</td> </tr> </tbody> </table> <h4>等待和获取数据包</h4> <ul> <li> listen.wait():用于等待符合要求的数据包到达指定数量。所有符合条件的数据包都会存储到队列，wait()实际上是逐个从队列中取结果，不用担心页面已刷走而丢包。</li> <li> listen.steps()：此方法返回一个可迭代对象，用于for循环，每次循环可从中获取到的数据包。可实现实时获取并返回数据包。如果timeout超时，会中断循环。</li> <li> listen.wait_silent()：用于等待所有指定的请求完成。</li> </ul> <p> listen.wait():用于等待符合要求的数据包到达指定数量。所有符合条件的数据包都会存储到队列，wait()实际上是逐个从队列中取结果，不用担心页面已刷走而丢包。</p> <table> <thead> <tr> <th>参数名称</th> <th>类型</th> <th>默认值</th> <th>说明</th> </tr> </thead> <tbody> <tr> <td><code>count</code></td> <td><code>int</code></td> <td><code>1</code></td> <td>需要捕捉的数据包数量</td> </tr> <tr> <td><code>timeout</code></td> <td><code>float</code> <br><code>None</code></td> <td><code>None</code></td> <td>超时时间，为<code>None</code>无限等待</td> </tr> <tr> <td><code>fit_count</code></td> <td><code>bool</code></td> <td><code>True</code></td> <td>是否必需满足总数要求，如超时，为<code>True</code>返回<code>False</code>，为<code>False</code>返回已捕捉到的数据包</td> </tr> <tr> <td><code>raise_err</code></td> <td><code>bool</code></td> <td><code>None</code></td> <td>超时时是否抛出错误，为<code>None</code>时根据<code>Settings</code>设置，如不抛出，超时返回<code>False</code></td> </tr> </tbody> </table> <table> <thead> <tr> <th>返回类型</th> <th>说明</th> </tr> </thead> <tbody> <tr> <td><code>DataPacket</code></td> <td><code>count</code>为<code>1</code>且未超时，返回一个数据包对象</td> </tr> <tr> <td><code>List[DataPacket]</code></td> <td><code>count</code>大于<code>1</code>，未超时或<code>fit_count</code>为<code>False</code>，返回数据包对象组成的列表</td> </tr> <tr> <td><code>False</code></td> <td>超时且<code>fit_count</code>为<code>True</code>时</td> </tr> </tbody> </table> <p> listen.steps()：此方法返回一个可迭代对象，用于for循环，每次循环可从中获取到的数据包。可实现实时获取并返回数据包。如果timeout超时，会中断循环。</p> <table> <thead> <tr> <th>参数名称</th> <th>类型</th> <th>默认值</th> <th>说明</th> </tr> </thead> <tbody> <tr> <td><code>count</code></td> <td><code>int</code></td> <td><code>None</code></td> <td>需捕获的数据包总数，为<code>None</code>表示无限</td> </tr> <tr> <td><code>timeout</code></td> <td><code>float</code> <br><code>None</code></td> <td><code>None</code></td> <td>每个数据包等待时间，为<code>None</code>表示无限等待</td> </tr> <tr> <td><code>gap</code></td> <td><code>int</code></td> <td><code>1</code></td> <td>每接收到多少个数据包返回一次数据</td> </tr> </tbody> </table> <table> <thead> <tr> <th>返回类型</th> <th>说明</th> </tr> </thead> <tbody> <tr> <td><code>DataPacket</code></td> <td><code>gap</code>为<code>1</code>时，返回一个数据包对象</td> </tr> <tr> <td><code>List[DataPacket]</code></td> <td><code>gap</code>大于<code>1</code>，返回数据包对象组成的列表</td> </tr> </tbody> </table> <p> listen.wait_silent()：用于等待所有指定的请求完成。</p> <table> <thead> <tr> <th>参数名称</th> <th>类型</th> <th>默认值</th> <th>说明</th> </tr> </thead> <tbody> <tr> <td><code>timeout</code></td> <td><code>float</code> <br><code>None</code></td> <td><code>None</code></td> <td>等待时间，为<code>None</code>表示无限等待</td> </tr> <tr> <td><code>targets_only</code></td> <td><code>bool</code></td> <td><code>False</code></td> <td>是否只等待<code>targets</code>指定的请求结束</td> </tr> <tr> <td><code>limit</code></td> <td><code>int</code></td> <td><code>0</code></td> <td>剩下多少个连接时视为结束</td> </tr> </tbody> </table> <table> <thead> <tr> <th>返回类型</th> <th>说明</th> </tr> </thead> <tbody> <tr> <td><code>bool</code></td> <td>是否等待成功</td> </tr> </tbody> </table> <h4>暂停和恢复</h4> <ul> <li> listen.pause(clear)：用于暂停监听。 <ul> <li>clear [bool] True 是否清空已获取队列</li> </ul> </li> <li> listen.resume()：此方法用于继续暂停的监听。</li> <li> listen.stop()：此方法用于终止监听器的运行，会清空已获取的队列，不清空 targets。</li> </ul> <h4>DataPacket对象</h4> <p><code>DataPacket</code>对象是获取到的数据包结果对象，包含了数据包各种信息。</p> <p><strong>对象属性</strong></p> <table> <thead> <tr> <th>属性名称</th> <th>数据类型</th> <th>说明</th> </tr> </thead> <tbody> <tr> <td><code>tab_id</code></td> <td><code>str</code></td> <td>产生这个请求的标签页的 id</td> </tr> <tr> <td><code>frameId</code></td> <td><code>str</code></td> <td>产生这个请求的框架 id</td> </tr> <tr> <td><code>target</code></td> <td><code>str</code></td> <td>产生这个请求的监听目标</td> </tr> <tr> <td><code>url</code></td> <td><code>str</code></td> <td>数据包请求网址</td> </tr> <tr> <td><code>method</code></td> <td><code>str</code></td> <td>请求类型</td> </tr> <tr> <td><code>is_failed</code></td> <td><code>bool</code></td> <td>是否连接失败</td> </tr> <tr> <td><code>resourceType</code></td> <td><code>str</code></td> <td>资源类型</td> </tr> <tr> <td><code>request</code></td> <td><code>Request</code></td> <td>保存请求信息的对象</td> </tr> <tr> <td><code>response</code></td> <td><code>Response</code></td> <td>保存响应信息的对象</td> </tr> <tr> <td><code>fail_info</code></td> <td><code>FailInof</code></td> <td>保存连接失败信息的对象</td> </tr> </tbody> </table> <h5><code>wait_extra_info()</code></h5> <p>有些数据包有<code>extra_info</code>数据，但这些数据可能会迟于数据包返回，用这个方法可以等待这些数据加载到数据包对象。</p> <table> <thead> <tr> <th>参数名称</th> <th>类型</th> <th>默认值</th> <th>说明</th> </tr> </thead> <tbody> <tr> <td><code>timeout</code></td> <td><code>float</code> <br><code>None</code></td> <td><code>None</code></td> <td>超时时间，<code>None</code>为无限等待</td> </tr> </tbody> </table> <table> <thead> <tr> <th>返回类型</th> <th>说明</th> </tr> </thead> <tbody> <tr> <td><code>bool</code></td> <td>是否等待成功</td> </tr> </tbody> </table> <p> wait_extra_info()</p> <h5>Request对象</h5> <p><code>Request</code>对象是<code>DataPacket</code>对象内用于保存请求信息的对象，有以下属性：</p> <table> <thead> <tr> <th>属性名称</th> <th>数据类型</th> <th>说明</th> </tr> </thead> <tbody> <tr> <td><code>url</code></td> <td><code>str</code></td> <td>请求的网址</td> </tr> <tr> <td><code>method</code></td> <td><code>str</code></td> <td>请求类型</td> </tr> <tr> <td><code>headers</code></td> <td><code>CaseInsensitiveDict</code></td> <td>以大小写不敏感字典返回 headers 数据</td> </tr> <tr> <td><code>cookies</code></td> <td><code>List[dict]</code></td> <td>返回发送的 cookies</td> </tr> <tr> <td><code>postData</code></td> <td><code>str</code> <br><code>dict</code></td> <td>post 类型的请求所提交的数据，json 以<code>dict</code>格式返回</td> </tr> </tbody> </table> <p>除以上常用属性，还有以下属性，自行体会：</p> <p>urlFragment、hasPostData、postDataEntries、mixedContentType、initialPriority、referrerPolicy、isLinkPreload、trustTokenParams、isSameSite</p> <h5>Response对象</h5> <p>DataPacket.respose</p> <p><code>Response</code>对象是<code>DataPacket</code>对象内用于保存响应信息的对象，有以下属性：</p> <table> <thead> <tr> <th>属性名称</th> <th>数据类型</th> <th>说明</th> </tr> </thead> <tbody> <tr> <td><code>url</code></td> <td><code>str</code></td> <td>请求的网址</td> </tr> <tr> <td><code>headers</code></td> <td><code>CaseInsensitiveDict</code></td> <td>以大小写不敏感字典返回 headers 数据</td> </tr> <tr> <td><code>body</code></td> <td><code>str</code> <br><code>bytes</code> <br><code>dict</code></td> <td>如果是 json 格式，自动进行转换，如果时图片格式，进行 base64 转换，其它格式直接返回文本</td> </tr> <tr> <td><code>raw_body</code></td> <td><code>str</code></td> <td>未被处理的 body 文本</td> </tr> <tr> <td><code>status</code></td> <td><code>int</code></td> <td>请求状态</td> </tr> <tr> <td><code>statusText</code></td> <td><code>str</code></td> <td>请求状态文本</td> </tr> </tbody> </table> <p>除以上属性，还有以下属性，自行体会：</p> <p>headersText、mimeType、requestHeaders、requestHeadersText、connectionReused、connectionId、remoteIPAddress、remotePort、fromDiskCache、fromServiceWorker、fromPrefetchCache、encodedDataLength、timing、serviceWorkerResponseSource、responseTime、cacheStorageCacheName、protocol、alternateProtocolUsage、securityState、securityDetails</p> <h5>FailInfo对象</h5> <p><code>FailInfo</code>对象是<code>DataPacket</code>对象内用于保存连接失败信息的对象，有以下属性：</p> <table> <thead> <tr> <th>属性名称</th> <th>数据类型</th> <th>说明</th> </tr> </thead> <tbody> <tr> <td><code>errorText</code></td> <td><code>str</code></td> <td>错误信息文本</td> </tr> <tr> <td><code>canceled</code></td> <td><code>bool</code></td> <td>是否取消</td> </tr> <tr> <td><code>blockedReason</code></td> <td><code>str</code></td> <td>拦截原因</td> </tr> <tr> <td><code>corsErrorStatus</code></td> <td><code>str</code></td> <td>cors 错误状态</td> </tr> </tbody> </table> <h3>动作链</h3> <p>动作链可以在浏览器上完成一系列交互行为，如鼠标移动、鼠标点击、键盘输入等。</p> <p>ChromiumPage、WebPage、ChromiumTab、ChromiumFrame对象支持使用动作链。可以链式操作，也可以分开执行，每个动作执行即生效，无需perform()。这些操作皆为<strong>模拟</strong>，真正的鼠标不会移动，因此可以多个标签页同时操作。</p> <p>有两种方式可以使用动作链，两者区别是，前者会等待页面加载完毕再执行，后者不会。</p> <ul> <li>使用内置actions属性调用动作链: page.actions.</li> <li>主动创建一个动作链对象,Actions (ChromiumPage|WebPage|ChromiumTab)</li> </ul> <pre><code class="prism language-python"><span class="token keyword">from</span> DrissionPage <span class="token keyword">import</span> ChromiumPage <span class="token keyword">from</span> DrissionPage<span class="token punctuation">.</span>common <span class="token keyword">import</span> Actions <span class="token comment">#1.使用内置actions属性</span> page <span class="token operator">=</span> ChromiumPage<span class="token punctuation">(</span><span class="token punctuation">)</span> page<span class="token punctuation">.</span>get<span class="token punctuation">(</span><span class="token string">'https://www.baidu.com'</span><span class="token punctuation">)</span> page<span class="token punctuation">.</span>actions<span class="token punctuation">.</span>move_to<span class="token punctuation">(</span><span class="token string">'#kw'</span><span class="token punctuation">)</span><span class="token punctuation">.</span>click<span class="token punctuation">(</span><span class="token punctuation">)</span><span class="token punctuation">.</span><span class="token builtin">type</span><span class="token punctuation">(</span><span class="token string">'DrissionPage'</span><span class="token punctuation">)</span> page<span class="token punctuation">.</span>actions<span class="token punctuation">.</span>move_to<span class="token punctuation">(</span><span class="token string">'#su'</span><span class="token punctuation">)</span><span class="token punctuation">.</span>click<span class="token punctuation">(</span><span class="token punctuation">)</span> <span class="token comment">#2.使用新对象</span> page <span class="token operator">=</span> ChromiumPage<span class="token punctuation">(</span><span class="token punctuation">)</span> ac <span class="token operator">=</span> Actions<span class="token punctuation">(</span>page<span class="token punctuation">)</span> page<span class="token punctuation">.</span>get<span class="token punctuation">(</span><span class="token string">'https://www.baidu.com'</span><span class="token punctuation">)</span> ac<span class="token punctuation">.</span>move_to<span class="token punctuation">(</span><span class="token string">'#kw'</span><span class="token punctuation">)</span><span class="token punctuation">.</span>click<span class="token punctuation">(</span><span class="token punctuation">)</span><span class="token punctuation">.</span><span class="token builtin">type</span><span class="token punctuation">(</span><span class="token string">'DrissionPage'</span><span class="token punctuation">)</span> ac<span class="token punctuation">.</span>move_to<span class="token punctuation">(</span><span class="token string">'#su'</span><span class="token punctuation">)</span><span class="token punctuation">.</span>click<span class="token punctuation">(</span><span class="token punctuation">)</span> </code></pre> <h4>移动鼠标</h4> <blockquote> <p>[!NOTE]- move_to (): 此方法用于移动鼠标到元素中点，或页面上的某个绝对坐标。可设置偏移量，当带偏移量时，偏移量相对于元素左上角坐标。</p> </blockquote> <table> <thead> <tr> <th>初始化参数</th> <th>类型</th> <th>默认值</th> <th>说明</th> </tr> </thead> <tbody> <tr> <td><code>ele_or_loc</code></td> <td><code>ChrmoiumElement</code> / <code>str</code> / <code>Tuple[int, int]</code></td> <td>必填</td> <td>元素对象、文本定位符或绝对坐标，坐标为 <code>tuple</code> (int, int) 形式</td> </tr> <tr> <td><code>offset_x</code></td> <td><code>int</code></td> <td><code>0</code></td> <td>x 轴偏移量，向右为正，向左为负</td> </tr> <tr> <td><code>offset_y</code></td> <td><code>int</code></td> <td><code>0</code></td> <td>y 轴偏移量，向下为正，向上为负</td> </tr> <tr> <td><code>duration</code></td> <td><code>float</code></td> <td><code>0.5</code></td> <td>拖动用时，传入 <code>0</code> 即瞬间到达</td> </tr> <tr> <td>返回类型</td> <td>Actions</td> <td>0</td> <td>动作链对象本身</td> </tr> </tbody> </table> <p> move()<br> up()<br> down()<br> left()<br> right()</p> <h4>鼠标按键</h4> <p> click()<br> r_click()<br> m_click()<br> db_click()<br> hold()<br> release()<br> r_hold()<br> r_release()<br> m_hold()<br> m_release()</p> <h4>滚动滚轮</h4> <p> scroll()</p> <h4>键盘按键和文本输入</h4> <p> key_down()<br> key_up()<br> input()<br> type()</p> <h3>截图和录制</h3> <h4>页面截图</h4> <p>页面对象的<code>get_screenshot()</code>方法对页面进行截图，可对整个网页、可见网页、指定范围截图。<br> 下面三个参数三选一，优先级：<code>as_bytes</code>><code>as_base64</code>><code>path</code>。</p> <table> <thead> <tr> <th>参数名称</th> <th>类型</th> <th>默认值</th> <th>说明</th> </tr> </thead> <tbody> <tr> <td><code>path</code></td> <td><code>str</code> <br><code>Path</code></td> <td><code>None</code></td> <td>保存图片的路径，为<code>None</code>时保存在当前文件夹，如包含文件名的完整路径，<code>name</code>参数无效。</td> </tr> <tr> <td><code>name</code></td> <td><code>str</code></td> <td><code>None</code></td> <td>完整文件名，后缀可选<code>'jpg'</code>、<code>'jpeg'</code>、<code>'png'</code>、<code>'webp'</code>，为<code>None</code>时以用 jpg 格式</td> </tr> <tr> <td><code>as_bytes</code></td> <td><code>str</code> <br><code>True</code></td> <td><code>None</code></td> <td>是否以字节形式返回图片，可选<code>'jpg'</code>、<code>'jpeg'</code>、<code>'png'</code>、<code>'webp'</code>、<code>None</code>、<code>True</code> <br>不为<code>None</code>时<code>path</code>参数无效 <br>为<code>True</code>时选用 jpg 格式</td> </tr> <tr> <td><code>as_base64</code></td> <td><code>str</code> <br><code>True</code></td> <td><code>None</code></td> <td>是否以 base64 形式返回图片，可选<code>'jpg'</code>、<code>'jpeg'</code>、<code>'png'</code>、<code>'webp'</code>、<code>None</code>、<code>True</code> <br>不为<code>None</code>时<code>path</code>参数无效 <br>为<code>True</code>时选用 jpg 格式</td> </tr> <tr> <td><code>full_page</code></td> <td><code>bool</code></td> <td><code>False</code></td> <td>是否整页截图，为<code>True</code>截取整个网页，为<code>False</code>截取可视窗口</td> </tr> <tr> <td><code>left_top</code></td> <td><code>Tuple[int, int]</code></td> <td><code>None</code></td> <td>截取范围左上角坐标</td> </tr> <tr> <td><code>right_bottom</code></td> <td><code>Tuple[int, int]</code></td> <td><code>None</code></td> <td>截取范围右下角坐标</td> </tr> </tbody> </table> <table> <thead> <tr> <th>返回类型</th> <th>说明</th> </tr> </thead> <tbody> <tr> <td><code>bytes</code></td> <td><code>as_bytes</code>生效时返回图片字节</td> </tr> <tr> <td><code>str</code></td> <td><code>as_bytes</code>和<code>as_base64</code>为<code>None</code>时返回图片完整路径</td> </tr> <tr> <td><code>str</code></td> <td><code>as_base64</code>生效时返回 base64 格式的字符串</td> </tr> <tr> <td></td> <td></td> </tr> </tbody> </table> <h4>页面录像</h4> <ul> <li>页面对象.<code>screencast</code>:可以录取屏幕图片或视频。</li> </ul> <p> 设置录制模式<br> 设置存放路径<br> screencast.start()<br> screencast.stop()<br> 注意事项<br> 示例</p> <h2>WebPage</h2> <ul> <li>WebPage()参数 <ul> <li>mode: ‘d’ 或 ‘s’，即driver模式和session模式</li> <li>timeout: 超时时间（秒），d模式时为寻找元素时间，s模式时为连接时间，默认10秒</li> <li>chromium_options: Driver对象，只使用s模式时应传入False</li> <li>session_or_options: Session对象或SessionOptions对象，只使用d模式时应传入False</li> </ul> </li> </ul> <pre><code class="prism language-python"><span class="token keyword">from</span> DrissionPage <span class="token keyword">import</span> WebPage<span class="token punctuation">,</span> ChromiumOptions <span class="token keyword">class</span> <span class="token class-name">Obj</span><span class="token punctuation">(</span><span class="token builtin">object</span><span class="token punctuation">)</span><span class="token punctuation">:</span> <span class="token keyword">def</span> <span class="token function">__init__</span><span class="token punctuation">(</span>self<span class="token punctuation">,</span> page<span class="token punctuation">)</span><span class="token punctuation">:</span> self<span class="token punctuation">.</span>page <span class="token operator">=</span> page <span class="token keyword">def</span> <span class="token function">main</span><span class="token punctuation">(</span>self<span class="token punctuation">)</span><span class="token punctuation">:</span> <span class="token keyword">pass</span> <span class="token keyword">if</span> __name__ <span class="token operator">==</span> <span class="token string">'__main__'</span><span class="token punctuation">:</span> co <span class="token operator">=</span> ChromiumOptions<span class="token punctuation">(</span><span class="token punctuation">)</span><span class="token punctuation">.</span>use_system_user_path<span class="token punctuation">(</span><span class="token punctuation">)</span> page <span class="token operator">=</span> WebPage<span class="token punctuation">(</span>mode<span class="token operator">=</span><span class="token string">'d'</span><span class="token punctuation">,</span> chromium_options<span class="token operator">=</span>co<span class="token punctuation">)</span> ob <span class="token operator">=</span> Obj<span class="token punctuation">(</span>page<span class="token punctuation">)</span> ob<span class="token punctuation">.</span>main<span class="token punctuation">(</span><span class="token punctuation">)</span> </code></pre> <h2>元素</h2> <h3>元素定位</h3> <p><strong>定位符语法简化</strong><br> 定位语法都有其简化形式<br> 页面和元素对象都实现了<code>__call__()</code>方法，所以page.ele(‘…’)可简化为page(‘…’)<br> 查找方法都支持链式操作</p> <table> <thead> <tr> <th>原写法</th> <th>简化写法</th> <th>说明</th> </tr> </thead> <tbody> <tr> <td><code>@id</code></td> <td><code>#</code></td> <td>表示 id 属性，简化写法只在语句最前面且单独使用时生效</td> </tr> <tr> <td><code>@class</code></td> <td><code>.</code></td> <td>表示 class 属性，简化写法只在语句最前面且单独使用时生效</td> </tr> <tr> <td><code>text</code></td> <td><code>tx</code></td> <td>按文本匹配</td> </tr> <tr> <td><code>@text()</code></td> <td><code>@tx()</code></td> <td>按文本查找与 @ 或 @@ 配合使用时</td> </tr> <tr> <td><code>tag</code></td> <td><code>t</code></td> <td>按标签类型匹配</td> </tr> <tr> <td><code>xpath</code></td> <td><code>x</code></td> <td>用 xpath 方式查找元素</td> </tr> <tr> <td><code>css</code></td> <td><code>c</code></td> <td>用 css selector 方式查找元素</td> </tr> </tbody> </table> <pre><code class="prism language-python"><span class="token comment"># 查找tag为div的元素</span> ele <span class="token operator">=</span> page<span class="token punctuation">.</span>ele<span class="token punctuation">(</span><span class="token string">'tag:div'</span><span class="token punctuation">)</span> <span class="token comment"># 原写法</span> ele <span class="token operator">=</span> page<span class="token punctuation">(</span><span class="token string">'t:div'</span><span class="token punctuation">)</span> <span class="token comment"># 简化写法</span> <span class="token comment"># 用xpath查找元素</span> ele <span class="token operator">=</span> page<span class="token punctuation">.</span>ele<span class="token punctuation">(</span><span class="token string">'xpath://xxxxx'</span><span class="token punctuation">)</span> <span class="token comment"># 原写法</span> ele <span class="token operator">=</span> page<span class="token punctuation">(</span><span class="token string">'x://xxxxx'</span><span class="token punctuation">)</span> <span class="token comment"># 简化写法</span> <span class="token comment"># 查找text为'something'的元素</span> ele <span class="token operator">=</span> page<span class="token punctuation">.</span>ele<span class="token punctuation">(</span><span class="token string">'text=something'</span><span class="token punctuation">)</span> <span class="token comment"># 原写法</span> ele <span class="token operator">=</span> page<span class="token punctuation">(</span><span class="token string">'tx=something'</span><span class="token punctuation">)</span> <span class="token comment"># 简化写法</span> <span class="token comment"># 根据 class 或 id 查找</span> page<span class="token punctuation">.</span>ele<span class="token punctuation">(</span><span class="token string">'#ele_id'</span><span class="token punctuation">)</span> <span class="token comment"># 等价于 page.ele('@id=ele_id')</span> page<span class="token punctuation">.</span>ele<span class="token punctuation">(</span><span class="token string">'#:ele_id'</span><span class="token punctuation">)</span> <span class="token comment"># 等价于 page.ele('@id:ele_id')</span> page<span class="token punctuation">.</span>ele<span class="token punctuation">(</span><span class="token string">'.ele_class'</span><span class="token punctuation">)</span> <span class="token comment"># 等价于 page.ele('@class=ele_class')</span> page<span class="token punctuation">.</span>ele<span class="token punctuation">(</span><span class="token string">'.:ele_class'</span><span class="token punctuation">)</span> <span class="token comment"># 等价于 page.ele('@class:ele_class')</span> <span class="token comment"># 根据 tag name 查找</span> page<span class="token punctuation">.</span>ele<span class="token punctuation">(</span><span class="token string">'tag:li'</span><span class="token punctuation">)</span> <span class="token comment"># 查找第一个 li 元素 </span> page<span class="token punctuation">.</span>eles<span class="token punctuation">(</span><span class="token string">'tag:li'</span><span class="token punctuation">)</span> <span class="token comment"># 查找所有 li 元素 </span> <span class="token comment"># 根据 tag name 及属性查找</span> page<span class="token punctuation">.</span>ele<span class="token punctuation">(</span><span class="token string">'tag:div@class=div_class'</span><span class="token punctuation">)</span> <span class="token comment"># 查找 class 为 div_class 的 div 元素</span> </code></pre> <p><strong>相对定位参数简化</strong><br> 相对定位时，有时需要获取当前元素后某个元素，而不关心该元素是什么类型，</p> <pre><code>ele2 = ele1.parent(2) ele2 = ele1.next(2)('tx=xxxxx') ele2 = ele1.before(2) # 如此类推 </code></pre> <h4>匹配模式</h4> <ul> <li>模糊匹配 :</li> <li>模糊匹配 :</li> <li>匹配开头 ^</li> <li>匹配结尾 $</li> </ul> <pre><code class="prism language-python"><span class="token comment"># 获取name属性为'row1'的元素</span> ele <span class="token operator">=</span> page<span class="token punctuation">.</span>ele<span class="token punctuation">(</span><span class="token string">'@name=row1'</span><span class="token punctuation">)</span> <span class="token comment"># 获取name属性包含'row1'的元素</span> ele <span class="token operator">=</span> page<span class="token punctuation">.</span>ele<span class="token punctuation">(</span><span class="token string">'@name:row1'</span><span class="token punctuation">)</span> <span class="token comment"># 获取name属性以'row1'开头的元素</span> ele <span class="token operator">=</span> page<span class="token punctuation">.</span>ele<span class="token punctuation">(</span><span class="token string">'@name^ro'</span><span class="token punctuation">)</span> <span class="token comment"># 获取name属性以'w1'结尾的元素</span> ele <span class="token operator">=</span> page<span class="token punctuation">.</span>ele<span class="token punctuation">(</span><span class="token string">'@name$w1'</span><span class="token punctuation">)</span> </code></pre> <h4>基本方法</h4> <ul> <li>id 匹配符 # :表示id属性，只在语句最前面且单独使用时生效，可配合匹配模式使用。</li> <li>类型匹配符 tag:表示元素的标签，只在语句最前面且单独使用时生效，可与@、@@或@|配合使用。tag:与tag=效果一致，没有tag^和tag$语法。</li> </ul> <pre><code class="prism language-python"><span class="token comment"># 定位div元素</span> ele2 <span class="token operator">=</span> ele1<span class="token punctuation">.</span>ele<span class="token punctuation">(</span><span class="token string">'tag:div'</span><span class="token punctuation">)</span> <span class="token comment"># 定位class属性为p_cls的p元素</span> ele2 <span class="token operator">=</span> ele1<span class="token punctuation">.</span>ele<span class="token punctuation">(</span><span class="token string">'tag:p@class=p_cls'</span><span class="token punctuation">)</span> <span class="token comment"># 定位文本为"第二行"的p元素</span> ele2 <span class="token operator">=</span> ele1<span class="token punctuation">.</span>ele<span class="token punctuation">(</span><span class="token string">'tag:p@text()=第二行'</span><span class="token punctuation">)</span> <span class="token comment"># 定位class属性为p_cls且文本为“第二行”的p元素</span> ele2 <span class="token operator">=</span> ele1<span class="token punctuation">.</span>ele<span class="token punctuation">(</span><span class="token string">'tag:p@@class=p_cls@@text()=第二行'</span><span class="token punctuation">)</span> <span class="token comment"># 定位class属性为p_cls或文本为“第二行”的p元素</span> ele2 <span class="token operator">=</span> ele1<span class="token punctuation">.</span>ele<span class="token punctuation">(</span><span class="token string">'tag:p@|class=p_cls@|text()=第二行'</span><span class="token punctuation">)</span> <span class="token comment"># 查找直接文本节点包含“二行”字符串的p元素</span> ele2 <span class="token operator">=</span> ele1<span class="token punctuation">.</span>ele<span class="token punctuation">(</span><span class="token string">'tag:p@text():二行'</span><span class="token punctuation">)</span> <span class="token comment"># 查找内部文本节点包含“二行”字符串的p元素</span> ele2 <span class="token operator">=</span> ele1<span class="token punctuation">.</span>ele<span class="token punctuation">(</span><span class="token string">'tag:p@@text():二行'</span><span class="token punctuation">)</span> </code></pre> <h4>属性</h4> <ul> <li>class 匹配符 .</li> </ul> <pre><code class="prism language-python"><span class="token comment"># 查找class属性为p_cls的元素</span> ele2 <span class="token operator">=</span> ele1<span class="token punctuation">.</span>ele<span class="token punctuation">(</span><span class="token string">'.p_cls'</span><span class="token punctuation">)</span> <span class="token comment"># 查找class属性'_cls'文本开头的元素</span> ele2 <span class="token operator">=</span> ele1<span class="token punctuation">.</span>ele<span class="token punctuation">(</span><span class="token string">'.^_cls'</span><span class="token punctuation">)</span> <span class="token comment"># 精确查找class属性为`p_cls1 p_cls2 `的元素</span> ele2 <span class="token operator">=</span> ele1<span class="token punctuation">.</span>ele<span class="token punctuation">(</span><span class="token string">'.p_cls1 p_cls2 '</span><span class="token punctuation">)</span> <span class="token comment">#如果某元素有多个类名，必须写 class 属性的完整值（类名的顺序也不能变）</span> <span class="token comment"># 模糊查找class属性含有类名 'p_cls2' 的元素</span> ele2 <span class="token operator">=</span> ele1<span class="token punctuation">.</span>ele<span class="token punctuation">(</span><span class="token string">'.:p_cls2'</span><span class="token punctuation">)</span> </code></pre> <ul> <li>单属性匹配符 @:表示某个属性，只匹配一个属性。可单独使用，也可与tag配合使用。</li> </ul> <pre><code># 查找name属性为row1的元素 ele2 = ele1.ele('@name=row1') # 查找name属性包含row文本的元素,可以跟匹配模式 ele2 = ele1.ele('@name:row') # 查找有name属性的元素 ele2 = ele1.ele('@name') # 查找没有任何属性的元素 ele2 = ele1.ele('@') # 查找email属性为abc@def.com的元素，有多个@也不会重复处理 ele2 = ele1.ele('@email=abc@def.com') # 属性中有特殊字符的情形，匹配abc@def属性等于v的元素 ele2 = ele1.ele('css:div[abc\@def="v"]') </code></pre> <ul> <li>多属性与匹配符 @@：匹配同时符合多个条件的元素时使用，每个条件前面添加@@作为开头。</li> <li>多属性或匹配符@| :匹配符合多个条件中任一项的元素时使用，每个条件前面添加@|作为开头。</li> <li>属性否定匹配符@! :用于否定某个条件，可与@@或@|混用，也可单独使用。</li> </ul> <pre><code># 查找name属性为row1且class属性包含cls文本的元素 ele2 = ele1.ele('@@name=row1@@class:cls') ele = page.ele('tag:div@@class=p_cls@@name=row1') # 查找id属性为one或id属性为two的元素 ele2 = ele1.ele('@|id=one@|id=two') ele = page.ele('tag:div@|class=p_cls@|name=row1') # 匹配arg1等于abc且arg2不等于def的元素 page.ele('@@arg1=abc@!arg2=def') # 匹配arg1等于abc或arg2不等于def的div元素 page.ele('t:div@|arg1=abc@!arg2=def') # 匹配arg1不等于abc page.ele('@!arg1=abc') # 匹配没有arg1属性的元素 page.ele('@!arg1') </code></pre> <h4>文本</h4> <ul> <li>文本匹配符 text: <ul> <li>要匹配的文本，查询字符串如开头没有任何关键字，也表示根据传入的文本作模糊查找。</li> <li>如果元素内有多个直接的文本节点，精确查找时可匹配所有文本节点拼成的字符串，模糊查找时可匹配每个文本节点。</li> <li>如果要匹配的文本包含特殊字符（如’ ‘、’>'），需将其转换为十六进制形式，详见《语法速查表》一节。</li> </ul> </li> </ul> <pre><code class="prism language-python"><span class="token comment"># 查找文本为“第二行”的元素</span> ele2 <span class="token operator">=</span> ele1<span class="token punctuation">.</span>ele<span class="token punctuation">(</span><span class="token string">'text=第二行'</span><span class="token punctuation">)</span> <span class="token comment"># 查找文本包含“第二”的元素</span> ele2 <span class="token operator">=</span> ele1<span class="token punctuation">.</span>ele<span class="token punctuation">(</span><span class="token string">'text:第二'</span><span class="token punctuation">)</span> <span class="token comment"># 与上一行一致</span> ele2 <span class="token operator">=</span> ele1<span class="token punctuation">.</span>ele<span class="token punctuation">(</span><span class="token string">'第二'</span><span class="token punctuation">)</span> <span class="token comment"># 匹配包含 文本的元素</span> ele2 <span class="token operator">=</span> ele1<span class="token punctuation">.</span>ele<span class="token punctuation">(</span><span class="token string">'第\u00A0二'</span><span class="token punctuation">)</span> <span class="token comment"># 需将 转为\u00A0</span> </code></pre> <ul> <li>文本匹配符 text(): <ul> <li>作为查找属性时使用的文本关键字，必须与@或@@配合使用。</li> <li><code>text</code>在作为属性查找条件是改为<code>text()</code>，是为了避免遇到名为<code>text</code>的属性时产生冲突。</li> </ul> </li> </ul> <pre><code class="prism language-python"><span class="token comment"># 查找文本为“第二行”的元素</span> ele2 <span class="token operator">=</span> ele1<span class="token punctuation">.</span>ele<span class="token punctuation">(</span><span class="token string">'@text()=第二行'</span><span class="token punctuation">)</span> <span class="token comment"># 查找文本包含“第二行”的元素</span> ele2 <span class="token operator">=</span> ele1<span class="token punctuation">.</span>ele<span class="token punctuation">(</span><span class="token string">'@text():二行'</span><span class="token punctuation">)</span> <span class="token comment"># 查找文本以“第二”开头且class属性为p_cls的元素</span> ele2 <span class="token operator">=</span> ele1<span class="token punctuation">.</span>ele<span class="token punctuation">(</span><span class="token string">'@@text()^第二@@class=p_cls'</span><span class="token punctuation">)</span> <span class="token comment"># 查找文本为“二行”且没有任何属性的元素（因第一个 @@ 后为空）</span> ele2 <span class="token operator">=</span> ele1<span class="token punctuation">.</span>ele<span class="token punctuation">(</span><span class="token string">'@@@@text():二行'</span><span class="token punctuation">)</span> <span class="token comment"># 查找直接子文本包含“二行”字符串的元素</span> ele <span class="token operator">=</span> page<span class="token punctuation">.</span>ele<span class="token punctuation">(</span><span class="token string">'@text():二行'</span><span class="token punctuation">)</span> </code></pre> <ul> <li>@@text()的技巧</li> </ul> <h4>css和xpath</h4> <ul> <li>css selector 匹配符 css :表示用 css selector 方式查找元素。<code>css:</code>与<code>css=</code>效果一致，没有<code>css^</code>和<code>css$</code>语法。</li> </ul> <pre><code class="prism language-python"><span class="token comment"># 查找 div 元素</span> ele2 <span class="token operator">=</span> ele1<span class="token punctuation">.</span>ele<span class="token punctuation">(</span><span class="token string">'css:.div'</span><span class="token punctuation">)</span> <span class="token comment"># 查找 div 子元素元素，这个写法是本库特有，原生不支持</span> ele2 <span class="token operator">=</span> ele1<span class="token punctuation">.</span>ele<span class="token punctuation">(</span><span class="token string">'css:>div'</span><span class="token punctuation">)</span> </code></pre> <ul> <li>xpath 匹配符 xpath</li> </ul> <pre><code># 查找后代中第一个 div 元素 ele2 = ele1.ele('xpath:.//div') # 和上面一行一样，查找元素的后代时，// 前面的 . 可以省略 ele2 = ele1.ele('xpath://div') # 使用xpath获取div元素的class属性（页面元素无此功能） ele_class_str = ele1.ele('xpath://div/@class') </code></pre> <ul> <li>selenium 的 loc 元组</li> </ul> <pre><code class="prism language-python"><span class="token keyword">from</span> DrissionPage<span class="token punctuation">.</span>common <span class="token keyword">import</span> By <span class="token comment"># 查找id为one的元素</span> loc1 <span class="token operator">=</span> <span class="token punctuation">(</span>By<span class="token punctuation">.</span>ID<span class="token punctuation">,</span> <span class="token string">'one'</span><span class="token punctuation">)</span> ele <span class="token operator">=</span> page<span class="token punctuation">.</span>ele<span class="token punctuation">(</span>loc1<span class="token punctuation">)</span> <span class="token comment"># 按 xpath 查找</span> loc2 <span class="token operator">=</span> <span class="token punctuation">(</span>By<span class="token punctuation">.</span>XPATH<span class="token punctuation">,</span> <span class="token string">'//p[@class="p_cls"]'</span><span class="token punctuation">)</span> ele <span class="token operator">=</span> page<span class="token punctuation">.</span>ele<span class="token punctuation">(</span>loc2<span class="token punctuation">)</span> </code></pre> <h4>相对定位</h4> <h5>父子元素</h5> <blockquote> <p>[!NOTE] parent(level_or_loc=1,index=1)获取父级元素</p> <ul> <li>level_or_loc[int|str|Tuple[str, str]]:第几级父元素，从<code>1</code>开始，或用定位符在祖先元素中进行筛选</li> <li>index [int] :当<code>level_or_loc</code>传入定位符，使用此参数选择第几个结果，从当前元素往上级数；当<code>level_or_loc</code>传入数字时，此参数无效</li> </ul> </blockquote> <pre><code># 获取 ele1 的第二层父元素 ele2 = ele1.parent(2) # 获取 ele1 父元素中 id 为 id1 的元素 ele2 = ele1.parent('#id1') </code></pre> <ul> <li><code>child()</code>此方法返回当前元素的一个直接子节点，可指定筛选条件和第几个。</li> </ul> <table> <thead> <tr> <th>参数名称</th> <th>类型</th> <th>默认值</th> <th>说明</th> </tr> </thead> <tbody> <tr> <td><code>locator</code></td> <td><code>str</code> <br><code>Tuple[str, str]</code> <br><code>int</code></td> <td><code>''</code></td> <td>用于筛选节点的查询语法，为<code>int</code>类型时<code>index</code>参数无效</td> </tr> <tr> <td><code>index</code></td> <td><code>int</code></td> <td><code>1</code></td> <td>查询结果中的第几个，从<code>1</code>开始，可输入负数表示倒数</td> </tr> <tr> <td><code>timeout</code></td> <td><code>float</code></td> <td><code>None</code></td> <td>无实际作用</td> </tr> <tr> <td><code>ele_only</code></td> <td><code>bool</code></td> <td><code>True</code></td> <td>是否只查找元素，为<code>False</code>时把文本、注释节点也纳入查找范围</td> </tr> </tbody> </table> <ul> <li>children():此方法返回当前元素全部符合条件的直接子节点组成的列表，可用查询语法筛选。</li> </ul> <table> <thead> <tr> <th>参数名称</th> <th>类型</th> <th>默认值</th> <th>说明</th> </tr> </thead> <tbody> <tr> <td><code>locator</code></td> <td><code>str</code> <br><code>Tuple[str, str]</code></td> <td><code>''</code></td> <td>用于筛选节点的查询语法</td> </tr> <tr> <td><code>timeout</code></td> <td><code>float</code></td> <td><code>None</code></td> <td>无实际作用</td> </tr> <tr> <td><code>ele_only</code></td> <td><code>bool</code></td> <td><code>True</code></td> <td>是否只查找元素，为<code>False</code>时把文本、注释节点也纳入查找范围</td> </tr> </tbody> </table> <h5>前面</h5> <ul> <li>prev()：获取前面的同级节点：此方法返回当前元素前面的某一个同级节点，可指定筛选条件和第几个。</li> <li>prevs():返回当前元素前面全部符合条件的同级节点组成的列表，可用查询语法筛选。</li> <li>before():返回当前元素前面的某一个符合条件的节点，可指定筛选条件和第几个。查找范围不限同级节点，而是整个 DOM 文档。</li> <li>befores():返回当前元素前面全部符合条件的节点组成的列表，可用查询语法筛选。查找范围不限同级节点，而是整个 DOM 文档。</li> </ul> <table> <thead> <tr> <th>参数名称</th> <th>类型</th> <th>默认值</th> <th>说明</th> </tr> </thead> <tbody> <tr> <td><code>locator</code></td> <td><code>str</code> <br><code>Tuple[str, str]</code> <br><code>int</code></td> <td><code>''</code></td> <td>用于筛选节点的查询语法，为<code>int</code>类型时<code>index</code>参数无效</td> </tr> <tr> <td><code>index</code></td> <td><code>int</code></td> <td><code>1</code></td> <td>查询结果中的第几个，从<code>1</code>开始，可输入负数表示倒数</td> </tr> <tr> <td><code>timeout</code></td> <td><code>float</code></td> <td><code>None</code></td> <td>无实际作用</td> </tr> <tr> <td><code>ele_only</code></td> <td><code>bool</code></td> <td><code>True</code></td> <td>是否只查找元素，为<code>False</code>时把文本、注释节点也纳入查找范围</td> </tr> </tbody> </table> <pre><code># 获取 ele1 前面第一个兄弟元素 ele2 = ele1.prev() # 获取 ele1 前面第 3 个兄弟元素 ele2 = ele1.prev(3) # 获取 ele1 前面第 3 个 div 兄弟元素 ele2 = ele1.prev(3, 'tag:div') # 获取 ele1 前面第一个文本节点的文本 txt = ele1.prev(1, 'xpath:text()') </code></pre> <h5>后面</h5> <ul> <li><code>next()</code> 获取后面的同级节点，也叫兄弟节点:</li> <li>nexts()：返回当前元素后面全部符合条件的同级节点组成的列表，可用查询语法筛选。</li> <li><code>after()</code>：在后面文档中查找节点</li> <li><code>afters()</code>：返回当前元素后面符合条件的全部节点组成的列表，可用查询语法筛选。查找范围不限同级节点，而是整个 DOM 文档</li> </ul> <pre><code>page('账号').after('t:input').input('123') page('密码').after('t:input').input('456') </code></pre> <h3>元素信息</h3> <h4>与SessionElement共有信息</h4> <table> <thead> <tr> <th>属性或方法</th> <th>说明</th> </tr> </thead> <tbody> <tr> <td><code>html</code></td> <td>此属性返回元素的 outerHTML 文本</td> </tr> <tr> <td><code>inner_html</code></td> <td>此属性返回元素的 innerHTML 文本</td> </tr> <tr> <td><code>tag</code></td> <td>此属性返回元素的标签名</td> </tr> <tr> <td><code>text</code></td> <td>此属性返回元素内所有文本组合成的字符串</td> </tr> <tr> <td><code>raw_text</code></td> <td>此属性返回元素内原始文本</td> </tr> <tr> <td><code>texts()</code></td> <td>此方法返回元素内所有<strong>直接</strong>子节点的文本，包括元素和文本节点</td> </tr> <tr> <td><code>comments</code></td> <td>此属性以列表形式返回元素内的注释</td> </tr> <tr> <td><code>attrs</code></td> <td>此属性以字典形式返回元素所有属性及值</td> </tr> <tr> <td><code>attr()</code></td> <td>此方法返回元素某个 attribute 属性值</td> </tr> <tr> <td><code>link</code></td> <td>此方法返回元素的 href 属性或 src 属性</td> </tr> <tr> <td><code>page</code></td> <td>此属性返回元素所在的总控页面对象</td> </tr> <tr> <td><code>xpath</code></td> <td>此属性返回当前元素在页面中 xpath 的绝对路径</td> </tr> <tr> <td><code>css_path</code></td> <td>此属性返回当前元素在页面中 css selector 的绝对路径</td> </tr> </tbody> </table> <h4>状态信息</h4> <p>状态信息藏在states属性中。<code>元素对象.states</code></p> <ul> <li><code>states.is_in_viewport</code>:返回元素是否在视口中，以元素可以接受点击的点为判断。</li> <li><code>states.is_whole_in_viewport</code>：返回元素是否整个在视口中。</li> <li><code>states.is_alive</code>：返回当前元素是否仍可用。用于判断 d 模式下是否因页面刷新而导致元素失效。</li> <li><code>states.is_checked</code>:返回表单单选或多选元素是否选中。</li> <li><code>states.is_selected</code>：返回<code><select></code>元素中的项是否选中。</li> <li><code>states.is_enabled</code>：以布尔值返回元素是否可用。</li> <li><code>states.is_displayed</code>：返回元素是否可见。</li> <li><code>states.is_covered</code>:返回元素是否被其它元素覆盖。如被覆盖，返回覆盖元素的 id，否则返回<code>False</code></li> <li><code>states.has_rect</code>：返回元素是否拥有大小和位置信息，有则返回四个角在页面上的坐标组成的列表，没有则返回False。</li> </ul> <h4>大小和位置</h4> <p> rect.size<br> rect.location<br> rect.midpoint<br> rect.click_point<br> rect.viewport_location<br> rect.viewport_midpoint<br> rect.viewport_click_point<br> rect.screen_location<br> rect.screen_midpoint<br> rect.screen_click_point<br> rect.corners<br> rect.viewport_corners<br> rect.viewport_rect</p> <h4>保存元素</h4> <blockquote> <p>[!NOTE] src()：返回元素<code>src</code>属性所使用的资源。</p> <ul> <li>timeout=None：等待资源加载超时时间，为<code>None</code>时使用元素所在页面<code>timeout</code>属性</li> <li>base64_to_bytes= True:为<code>True</code>时，如果是 base64 数据，转换为<code>bytes</code>格式</li> <li>返回类型：base64 的可转为<code>bytes</code>返回，其它的以<code>str</code>返回。无资源的返回<code>None</code>。</li> </ul> </blockquote> <blockquote> <p>[!NOTE] save()：保存<code>src()</code>方法获取到的资源到文件。</p> <ul> <li>path[str|Path]=None 文件保存路径，为None时保存到当前文件夹</li> <li>name=[str]=None 文件名称，需包含后缀，为None时从资源 url 获取</li> <li>timeout float None 等待资源加载超时时间，为None时使用元素所在页面timeout属性</li> <li>rename bool True 遇到重名文件时是否自动重命名</li> </ul> </blockquote> <pre><code class="prism language-python"><span class="token keyword">import</span> ddddocr code <span class="token operator">=</span> page<span class="token punctuation">(</span><span class="token string">'#randCode_icon'</span><span class="token punctuation">)</span><span class="token punctuation">.</span>src<span class="token punctuation">(</span><span class="token punctuation">)</span> ocr <span class="token operator">=</span> ddddocr<span class="token punctuation">.</span>DdddOcr<span class="token punctuation">(</span>show_ad<span class="token operator">=</span><span class="token boolean">False</span><span class="token punctuation">)</span> res <span class="token operator">=</span> ocr<span class="token punctuation">.</span>classification<span class="token punctuation">(</span>code<span class="token punctuation">)</span> </code></pre> <h4>ShadowRoot属性</h4> <p> tag<br> html<br> inner_html<br> page<br> parent_ele<br> states.is_enabled<br> states.is_alive</p> <h4>比较元素</h4> <h4>元素截图</h4> <p>用于获取验证码人机验证码</p> <ul> <li><code>元素对象.get_screenshot()</code>:对元素进行截图。<br> 若元素范围超出视口，需 90 以上版本内核支持。<br> 下面三个参数三选一，优先级：<code>as_bytes</code>><code>as_base64</code>><code>path</code>。</li> </ul> <table> <thead> <tr> <th>参数名称</th> <th>类型</th> <th>默认值</th> <th>说明</th> </tr> </thead> <tbody> <tr> <td><code>path</code></td> <td><code>str</code> <br><code>Path</code></td> <td><code>None</code></td> <td>保存图片的路径，为<code>None</code>时保存在当前文件夹,包含文件名的完整路径，<code>name</code>参数无效。</td> </tr> <tr> <td><code>name</code></td> <td><code>str</code></td> <td><code>None</code></td> <td>完整文件名，后缀可选<code>'jpg'</code>、<code>'jpeg'</code>、<code>'png'</code>、<code>'webp'</code>，为<code>None</code>时以用 jpg 格式</td> </tr> <tr> <td><code>as_bytes</code></td> <td><code>str</code> <br><code>True</code></td> <td><code>None</code></td> <td>是否以字节形式返回图片，可选<code>'jpg'</code>、<code>'jpeg'</code>、<code>'png'</code>、<code>'webp'</code>、<code>None</code>、<code>True</code> <br>不为<code>None</code>时<code>path</code>和<code>as_base64</code>参数无效 <br>为<code>True</code>时选用 jpg 格式</td> </tr> <tr> <td><code>as_base64</code></td> <td><code>str</code> <br><code>True</code></td> <td><code>None</code></td> <td>是否以 base64 形式返回图片，可选<code>'jpg'</code>、<code>'jpeg'</code>、<code>'png'</code>、<code>'webp'</code>、<code>None</code>、<code>True</code> <br>不为<code>None</code>时<code>path</code>参数无效 <br>为<code>True</code>时选用 jpg 格式</td> </tr> <tr> <td><code>scroll_to_center</code></td> <td><code>bool</code></td> <td><code>True</code></td> <td>截图前是否滚动到视口中央</td> </tr> </tbody> </table> <table> <thead> <tr> <th>返回类型</th> <th>说明</th> </tr> </thead> <tbody> <tr> <td><code>bytes</code></td> <td><code>as_bytes</code>生效时返回图片字节</td> </tr> <tr> <td><code>str</code></td> <td><code>as_bytes</code>和<code>as_base64</code>为<code>None</code>时返回图片完整路径</td> </tr> <tr> <td><code>str</code></td> <td><code>as_base64</code>生效时返回 base64 格式的字符串</td> </tr> </tbody> </table> <p>保存元素</p> <h3>元素交互</h3> <h4>点击</h4> <h4>输入</h4> <ul> <li>input()：用于向元素输入文本或组合键，也可用于输入文件路径到上传控件。可选择输入前是否清空元素。</li> </ul> <table> <thead> <tr> <th>参数名称</th> <th>类型</th> <th>默认值</th> <th>说明</th> </tr> </thead> <tbody> <tr> <td><code>vals</code></td> <td><code>Any</code></td> <td><code>False</code></td> <td>文本值或按键组合 <br>对文件上传控件时输入路径字符串或其组成的列表</td> </tr> <tr> <td><code>clear</code></td> <td><code>bool</code></td> <td><code>False</code></td> <td>输入前是否清空文本框</td> </tr> <tr> <td><code>by_js</code></td> <td><code>bool</code></td> <td><code>False</code></td> <td>是否用 js 方式输入，为<code>True</code>时不能输入组合键</td> </tr> </tbody> </table> <h4>元素的等待</h4> <ul> <li> wait.displayed()：等待元素从隐藏状态变成显示状态。<strong>元素隐藏</strong>是指元素在 DOM 内，但处于隐藏状态（即使在视口内且不被遮挡）。父元素隐藏时子元素也是隐藏的。</li> <li> wait.hidden()：等待元素从显示状态变成隐藏状态。</li> <li> wait.deleted()：等待元素被从 DOM 删除。</li> <li> wait.covered():用于等待元素被其它元素覆盖。</li> <li> wait.not_covered():用于等待元素不被其它元素覆盖。</li> <li> wait.enabled():用于等待元素变为可用状态。</li> <li> wait.disabled():用于等待元素变为不可用状态。</li> <li> wait.stop_moving()：用于等待元素运动结束。如果元素没有大小和位置信息，会在超时时抛出NoRectError异常。</li> <li> wait.disable_or_deleted()：用于等待元素变为不可用或被删除。</li> <li> wait()：此方法用于等待若干秒。 <ul> <li>scope为None时，效果与time.sleep()没有区别，等待指定秒数。</li> <li>scope不为None时，获取两个参数之间的一个随机值，等待这个数值的秒数。</li> </ul> </li> </ul> <h2>例子</h2> <h3>多线程并发</h3> <p>并发编程-py<br> 当你有多个链接需要打开时，使用多线程并发多开标签页</p> <pre><code class="prism language-python"><span class="token keyword">from</span> concurrent<span class="token punctuation">.</span>futures <span class="token keyword">import</span> ThreadPoolExecutor <span class="token keyword">with</span> ThreadPoolExecutor<span class="token punctuation">(</span>max_workers<span class="token operator">=</span><span class="token number">3</span><span class="token punctuation">)</span> <span class="token keyword">as</span> executor<span class="token punctuation">:</span> <span class="token comment"># 通过executor的 map 获取已经完成的task的值</span> <span class="token keyword">for</span> data <span class="token keyword">in</span> executor<span class="token punctuation">.</span><span class="token builtin">map</span><span class="token punctuation">(</span>get_html<span class="token punctuation">,</span> urls<span class="token punctuation">)</span><span class="token punctuation">:</span> <span class="token keyword">print</span><span class="token punctuation">(</span><span class="token string">"get {} page"</span><span class="token punctuation">.</span><span class="token builtin">format</span><span class="token punctuation">(</span>data<span class="token punctuation">)</span><span class="token punctuation">)</span> </code></pre> <h2>坑</h2> <p>#坑</p> <h3>pyinstaller打包报错</h3> <pre><code>ImportError: DLL load failed while importing _sqlite3: 找不到指定的模块。 </code></pre> <p>python 内置了这个sqlite3.dll模块，而anaconda没有</p> <p>把sqlite3.dll放到python环境中的DLLs目录下</p> <pre><code>C:\Users\wenke\.conda\envs\drission\DLLs </code></pre> <p>在pyinstaller的xxx.spec文件中添加DLLs目录</p> <pre><code> binaries=[('C:\\Users\\wenke\\.conda\\envs\\drission\\DLLs','.')], </code></pre> <pre><code>pyinstaller main.spec </code></pre> </div> </div>�� </div> </div> </div>  <div id="SOHUCS" sid="1890431142386003968"></div> <script type="text/javascript" src="/views/front/js/chanyan.js"></script>  <div class="youdao-fixed-ad" id="detail_ad_bottom"></div> </div> <div class="col-md-3"> <div class="row" id="ad">  <div id="right-1" class="col-lg-12 col-md-12 col-sm-4 col-xs-4 ad"> <div class="youdao-fixed-ad" id="detail_ad_1"> </div> </div>  <div id="right-2" class="col-lg-12 col-md-12 col-sm-4 col-xs-4 ad"> <div class="youdao-fixed-ad" id="detail_ad_2"></div> </div>  <div id="right-3" class="col-lg-12 col-md-12 col-sm-4 col-xs-4 ad"> <div class="youdao-fixed-ad" id="detail_ad_3"></div> </div> </div> </div> </div> </div> </div> <div class="container"> <h4 class="pt20 mb15 mt0 border-top">你可能感兴趣的:(自动化,爬虫,运维)</h4> <div id="paradigm-article-related"> <div class="recommend-post mb30"> <ul class="widget-links"> <li><a href="/article/1947860563719680000.htm" title="Python爬虫教程：抓取地方政府网站的公开文件与政策信息" target="_blank">Python爬虫教程：抓取地方政府网站的公开文件与政策信息</a> <span class="text-muted">Python爬虫项目</span> <a class="tag" taget="_blank" href="/search/python/1.htm">python</a><a class="tag" taget="_blank" href="/search/%E7%88%AC%E8%99%AB/1.htm">爬虫</a><a class="tag" taget="_blank" href="/search/%E5%BC%80%E5%8F%91%E8%AF%AD%E8%A8%80/1.htm">开发语言</a><a class="tag" taget="_blank" href="/search/%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90/1.htm">数据分析</a><a class="tag" taget="_blank" href="/search/mysql/1.htm">mysql</a> <div>1.引言在信息化时代，政府网站已成为信息公开的重要渠道。各级地方政府网站上发布的政策、公告和公开文件，通常包含了政府决策、法律法规等关键信息。爬取这些公开数据，可以为研究人员、政策分析师、企业决策者等提供有价值的数据支持。本文将通过Python爬虫技术，展示如何抓取地方政府网站上的公开文件、政策等信息。我们将使用最新的爬虫技术，如requests、BeautifulSoup、Selenium等工具</div> </li> <li><a href="/article/1947850977717579776.htm" title="JAVA API (三)：从基础爬虫构建到带条件数据提取 —— 详解 URL、正则与爬取策略" target="_blank">JAVA API (三)：从基础爬虫构建到带条件数据提取 —— 详解 URL、正则与爬取策略</a> <span class="text-muted">钮祜禄.爱因斯晨</span> <a class="tag" taget="_blank" href="/search/JAVA%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B0/1.htm">JAVA学习笔记</a><a class="tag" taget="_blank" href="/search/java/1.htm">java</a><a class="tag" taget="_blank" href="/search/%E7%88%AC%E8%99%AB/1.htm">爬虫</a><a class="tag" taget="_blank" href="/search/%E5%BC%80%E5%8F%91%E8%AF%AD%E8%A8%80/1.htm">开发语言</a> <div>个人主页-爱因斯晨文章专栏-Java学习相关文章：API(一)相关文章：API（二）持续努力中，感谢支持一、爬虫基础（一）爬虫的基本概念定义：爬虫是按照一定规则自动抓取网络信息的程序，在Java环境下，可借助URL、HttpURLConnection等API来实现。应用场景：广泛应用于数据采集，如电商平台的价格监控、各类新闻的聚合；还可用于信息分析，如舆情监测等。（二）Java实现简单爬虫的步骤建</div> </li> <li><a href="/article/1947846947368923136.htm" title="医院容灾备份系统设计、实施与日常运维" target="_blank">医院容灾备份系统设计、实施与日常运维</a> <span class="text-muted">米朵儿技术屋</span> <a class="tag" taget="_blank" href="/search/%E7%B3%BB%E7%BB%9F%E5%B7%A5%E7%A8%8B%E6%8A%80%E6%9C%AF%E5%BC%80%E5%8F%91%E4%B8%8E%E5%BA%94%E7%94%A8%E4%B8%93%E6%A0%8F/1.htm">系统工程技术开发与应用专栏</a><a class="tag" taget="_blank" href="/search/%E8%BF%90%E7%BB%B4/1.htm">运维</a><a class="tag" taget="_blank" href="/search/%E6%95%B0%E6%8D%AE%E6%8C%96%E6%8E%98/1.htm">数据挖掘</a><a class="tag" taget="_blank" href="/search/%E6%95%B0%E6%8D%AE%E5%BA%93/1.htm">数据库</a> <div>1、医疗行业业务系统特点与存在的痛点随着医疗行业信息化的进程的加深，对医疗数据进行高效地存储和管理，以便提供安全有效地数据与信息的快速访问和利用成为医疗行业数据存储的主要发展趋势，在医院众多的信息化系统中，HIS作为最重要的医院信息系统，贯穿了业务流程的各个环节，起着核心支撑作用，包含财务、人事、住院、门诊、挂号、医技、收费、分诊、药品管理等多个子系统，是医疗服务和医院管理的核心。现在医院对信息系</div> </li> <li><a href="/article/1947834585274445824.htm" title="requests+pytest+allure接口自动化测试步骤" target="_blank">requests+pytest+allure接口自动化测试步骤</a> <span class="text-muted">兔兔不乖-</span> <a class="tag" taget="_blank" href="/search/%E6%B5%8B%E8%AF%95%E5%B7%A5%E7%A8%8B%E5%B8%88/1.htm">测试工程师</a> <div>requests+pytest+allure接口自动化测试步骤流程1.读取文件中的数据2.requests拿到数据请求接口返回状态码3.通过断言验证返回状态码和200对比4.生成allure的测试报告先从聚合数据里面寻找两个或两个以上的接口填入CSV表格中文件格式必须以csv结尾1.读取CSV文件中的数据demo：importcsv#导入csv模块classRead1():#创建一个类defrea</div> </li> <li><a href="/article/1947817067054952448.htm" title="MobaXterm11.1：全面的Linux/Unix远程管理工具包" target="_blank">MobaXterm11.1：全面的Linux/Unix远程管理工具包</a> <span class="text-muted">芥子纳须弥1116</span> <div>本文还有配套的精品资源，点击获取简介：MobaXterm是为Windows用户设计的全能型Linux/Unix服务器远程管理工具，提供包括SSH客户端、多会话管理、FTP/SFTP客户端、X11转发、Telnet/Rlogin支持和端口转发在内的多种功能。它简化了远程登录和文件传输等任务，同时与SecureCRT相比，具有更直观的界面、更高的集成性和免费版本的优势。适用于系统运维、开发测试、教育科</div> </li> <li><a href="/article/1947812026805972992.htm" title="Python爬虫技术：高效采集开放数据的5种方法" target="_blank">Python爬虫技术：高效采集开放数据的5种方法</a> <span class="text-muted">大数据洞察</span> <a class="tag" taget="_blank" href="/search/python/1.htm">python</a><a class="tag" taget="_blank" href="/search/%E7%88%AC%E8%99%AB/1.htm">爬虫</a><a class="tag" taget="_blank" href="/search/wpf/1.htm">wpf</a><a class="tag" taget="_blank" href="/search/ai/1.htm">ai</a> <div>Python爬虫技术：高效采集开放数据的5种方法关键词：Python爬虫、开放数据采集、请求库、异步爬虫、分布式爬虫、动态网页解析、API直连摘要：本文围绕“如何用Python高效采集开放数据”展开，系统讲解5种主流爬虫方法（基础请求库、异步请求、动态网页渲染、分布式爬虫、API直连）的原理、适用场景与实战技巧。通过生活类比、代码示例和真实案例，帮助读者快速掌握不同场景下的爬虫策略，同时强调数据合</div> </li> <li><a href="/article/1947797910787780608.htm" title="网络爬虫进阶" target="_blank">网络爬虫进阶</a> <span class="text-muted">rooney2024</span> <a class="tag" taget="_blank" href="/search/%E7%88%AC%E8%99%AB/1.htm">爬虫</a> <div>目录一、进阶爬虫的核心挑战二、关键技术与最佳实践三、实战案例：爬取动态电商价格（伪代码示例）四、持续学习路径结语一、进阶爬虫的核心挑战动态渲染页面(JavaScript/AJAX)问题：数据由JavaScript动态加载生成，初始HTML中不存在。解决方案：浏览器自动化工具：Selenium,Playwright,Puppeteer。模拟真实浏览器行为，等待JS执行并渲染出完整DOM后再解析。无头</div> </li> <li><a href="/article/1947797911228182528.htm" title="网络爬虫再深入——对抗指纹检测、分布式架构与智能解析实战" target="_blank">网络爬虫再深入——对抗指纹检测、分布式架构与智能解析实战</a> <span class="text-muted">rooney2024</span> <a class="tag" taget="_blank" href="/search/%E7%88%AC%E8%99%AB/1.htm">爬虫</a> <div>目录一、深入反爬：浏览器指纹检测与对抗（配图1）1.高级指纹检测原理2.对抗方案与实战二、分布式爬虫架构深度设计（配图2）1.容错与弹性设计2.智能限流算法三、智能解析：LLM与计算机视觉的融合（配图3）1.LLM解析非结构化文本2.视觉辅助定位元素四、法律与伦理：爬虫工程师的自我修养1.关键法律边界2.道德实践框架五、未来战场：Web3.0时代的爬虫技术演进1.去中心化网络挑战2.AI驱动的自适</div> </li> <li><a href="/article/1947784554156716032.htm" title="如何构建“可解释”的差异分析模型？财务RPA技术路径对比" target="_blank">如何构建“可解释”的差异分析模型？财务RPA技术路径对比</a> <span class="text-muted">GJGCY</span> <a class="tag" taget="_blank" href="/search/rpa/1.htm">rpa</a><a class="tag" taget="_blank" href="/search/%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD/1.htm">人工智能</a><a class="tag" taget="_blank" href="/search/%E5%A4%A7%E6%95%B0%E6%8D%AE/1.htm">大数据</a><a class="tag" taget="_blank" href="/search/%E8%87%AA%E5%8A%A8%E5%8C%96/1.htm">自动化</a> <div>在大多数企业的财务流程中，数据对账往往是看似简单、实则复杂的存在。尤其是月末、季末节点，企业需要处理的往来账、付款记录、银行流水、发票凭证动辄成千上万，一旦发生金额不符、凭证遗漏、重复报销等异常，人工核查不仅耗时费力，还容易错过关键问题。于是，差异分析与异常标注逐渐成为财务流程智能化升级中的刚需能力。越来越多的企业希望借助财务RPA（流程自动化机器人），将这些繁琐任务转化为机器精准执行的例行工作。</div> </li> <li><a href="/article/1947784427824279552.htm" title="RPA在制造业如何落地？一文看懂平台选型与部署策略" target="_blank">RPA在制造业如何落地？一文看懂平台选型与部署策略</a> <span class="text-muted"></span> <div>随着柔性生产、智能质检、设备联网等数字化需求不断扩张，传统制造企业在面对人力成本上涨、流程复杂化与交付周期缩短等多重压力下，开始寻求更多可持续的自动化工具。而RPA（机器人流程自动化），正在成为一条高性价比的“中间路径”。根据中研普华产业研究院的《2025-2030年中国机器人流程自动化（RPA）行业投资规划研究与发展策略分析报告》显示，中国500强企业RPA渗透率已提升至67%，其中制造业贡献了</div> </li> <li><a href="/article/1947781024033337344.htm" title="ActiveMQ、RabbitMQ、RocketMQ、Kafka四种消息中间件分析介绍" target="_blank">ActiveMQ、RabbitMQ、RocketMQ、Kafka四种消息中间件分析介绍</a> <span class="text-muted">马小屑</span> <a class="tag" taget="_blank" href="/search/Kafka/1.htm">Kafka</a><a class="tag" taget="_blank" href="/search/kafka/1.htm">kafka</a> <div>ActiveMQ、RabbitMQ、RocketMQ、Kafka四种消息中间件分析介绍我们从四种消息中间件的介绍到基本使用，以及高可用，消息重复性，消息丢失，消息顺序性能方面进行分析介绍！一、消息中间件的使用场景消息中间件的使用场景总结就是六个字：解耦、异步、削峰1.解耦如果我方系统A要与三方B系统进行数据对接，推送系统人员信息，通常我们会使用接口开发来进行。但是如果运维期间B系统进行了调整，或者</div> </li> <li><a href="/article/1947773337279197184.htm" title="自动化测试常见问题详解" target="_blank">自动化测试常见问题详解</a> <span class="text-muted">程序员杰哥</span> <a class="tag" taget="_blank" href="/search/%E6%B5%8B%E8%AF%95%E7%94%A8%E4%BE%8B/1.htm">测试用例</a><a class="tag" taget="_blank" href="/search/%E6%B5%8B%E8%AF%95%E5%B7%A5%E5%85%B7/1.htm">测试工具</a><a class="tag" taget="_blank" href="/search/%E8%BD%AF%E4%BB%B6%E6%B5%8B%E8%AF%95/1.htm">软件测试</a><a class="tag" taget="_blank" href="/search/%E8%81%8C%E5%9C%BA%E5%92%8C%E5%8F%91%E5%B1%95/1.htm">职场和发展</a><a class="tag" taget="_blank" href="/search/%E8%87%AA%E5%8A%A8%E5%8C%96%E6%B5%8B%E8%AF%95/1.htm">自动化测试</a><a class="tag" taget="_blank" href="/search/python/1.htm">python</a><a class="tag" taget="_blank" href="/search/%E7%A8%8B%E5%BA%8F%E4%BA%BA%E7%94%9F/1.htm">程序人生</a> <div>点击文末小卡片，免费获取软件测试全套资料，资料在手，涨薪更快日常维护自动化过程中经常会遇到各式各样的问题。常见问题的表现有哪些？今天就来列举哪些自动化测试中的顽疾。基本每个维护自动化的人都或多或少遇到过的。1.定位问题：自动化测试脚本通常需要与应用程序的各种元素进行交互，如按钮、文本框、下拉菜单等。在某些情况下，元素的定位可能会出现问题，导致脚本执行失败。这可能是由于元素的属性变化、页面结构的更改</div> </li> <li><a href="/article/1947768423211659264.htm" title="Python自动化神器：Pyautogui库实战指南" target="_blank">Python自动化神器：Pyautogui库实战指南</a> <span class="text-muted">码界奇点</span> <a class="tag" taget="_blank" href="/search/Python/1.htm">Python</a><a class="tag" taget="_blank" href="/search/python/1.htm">python</a><a class="tag" taget="_blank" href="/search/%E8%87%AA%E5%8A%A8%E5%8C%96/1.htm">自动化</a><a class="tag" taget="_blank" href="/search/%E5%BC%80%E5%8F%91%E8%AF%AD%E8%A8%80/1.htm">开发语言</a><a class="tag" taget="_blank" href="/search/python3.11/1.htm">python3.11</a><a class="tag" taget="_blank" href="/search/ui/1.htm">ui</a> <div>欢迎莅临我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。持续学习，不断总结，共同进步，为了踏实，做好当下事儿~非常期待和您一起在这个小小的网络世界里共同探索、学习和成长。✨✨欢迎订阅本专栏✨✨TheStart点点关注，收藏不迷路文章目录1.PyAutoGUI简介1.1什么是PyAutoGUI？1.2安装</div> </li> <li><a href="/article/1947763002648358912.htm" title="关于猫头虎，认识猫头虎，建联猫头虎，商务合作，产品评测，产品推广，个人自媒体创作，超级个体，涨粉秘籍，一起探索编程世界的无限可能！" target="_blank">关于猫头虎，认识猫头虎，建联猫头虎，商务合作，产品评测，产品推广，个人自媒体创作，超级个体，涨粉秘籍，一起探索编程世界的无限可能！</a> <span class="text-muted">猫头虎</span> <a class="tag" taget="_blank" href="/search/%E7%8C%AB%E5%A4%B4%E8%99%8E%E7%B2%BE%E5%93%81%E5%8D%9A%E5%AE%A2%E4%B8%93%E6%A0%8F/1.htm">猫头虎精品博客专栏</a><a class="tag" taget="_blank" href="/search/CSDN%E5%BC%80%E5%8F%91%E4%BA%91/1.htm">CSDN开发云</a><a class="tag" taget="_blank" href="/search/%E4%BA%BA%E6%9C%BA%E4%BA%A4%E4%BA%92/1.htm">人机交互</a><a class="tag" taget="_blank" href="/search/%E4%BA%A4%E4%BA%92/1.htm">交互</a><a class="tag" taget="_blank" href="/search/%E7%A8%8B%E5%BA%8F%E4%BA%BA%E7%94%9F/1.htm">程序人生</a><a class="tag" taget="_blank" href="/search/%E7%A8%8B%E5%BA%8F%E5%91%98%E5%88%9B%E5%AF%8C/1.htm">程序员创富</a><a class="tag" taget="_blank" href="/search/%E5%88%9B%E4%B8%9A%E5%88%9B%E6%96%B0/1.htm">创业创新</a><a class="tag" taget="_blank" href="/search/%E5%AD%A6%E4%B9%A0%E6%96%B9%E6%B3%95/1.htm">学习方法</a> <div>猫头虎建联猫头虎，商务合作，产品评测，产品推广，个人自媒体创作，超级个体，涨粉秘籍，一起探索编程世界的无限可能！猫头虎是谁？大家好，我是猫头虎，别名猫头虎博主，擅长的技术领域包括云原生、前端、后端、运维和AI。我的博客主要分享技术教程、bug解决思路、开发工具教程、前沿科技资讯、产品评测图文、产品使用体验图文、产品优点推广文稿、产品横测对比文稿，以及线下技术沙龙活动参会体验文稿。内容涵盖云服务产品</div> </li> <li><a href="/article/1947759970296590336.htm" title="Python自动操作GUI神器PyAutoGUI" target="_blank">Python自动操作GUI神器PyAutoGUI</a> <span class="text-muted">小菜菜-K</span> <a class="tag" taget="_blank" href="/search/PYTHON/1.htm">PYTHON</a> <div>日常使用计算机，命令行程序可以说是为批量操作文件而生，但作为普通用户，最多的还是通过鼠标键盘操作形形色色的图形界面程序。试想下面一个场景：有成千上万个文件，都需要通过图形界面进行同样的一套编辑、保存工作，靠手工一遍一遍地重复做，累死人不说，时间久了必然出现错误，作为程序猿，怎么能忍重复3次以上的工作，必须利用程序自动化。要想图形界面也能像命令行程序那样精确控制，就需要GUI自动化工具了。不得不赞P</div> </li> <li><a href="/article/1947747995088908288.htm" title="Python中win32com的用法详解：自动化办公与COM交互的利器" target="_blank">Python中win32com的用法详解：自动化办公与COM交互的利器</a> <span class="text-muted">detayun</span> <a class="tag" taget="_blank" href="/search/Python/1.htm">Python</a><a class="tag" taget="_blank" href="/search/python/1.htm">python</a><a class="tag" taget="_blank" href="/search/%E8%87%AA%E5%8A%A8%E5%8C%96/1.htm">自动化</a><a class="tag" taget="_blank" href="/search/%E4%BA%A4%E4%BA%92/1.htm">交互</a><a class="tag" taget="_blank" href="/search/win32/1.htm">win32</a> <div>在Python自动化办公场景中，win32com模块凭借其与WindowsCOM（ComponentObjectModel）的深度集成能力，成为操控MicrosoftOffice、工业设备甚至第三方软件的核心工具。本文将通过实战案例、技术细节和避坑指南，系统解析这一模块的核心用法。一、核心功能与安装配置1.1模块定位与优势win32com是pywin32扩展包的核心组件，其核心价值在于：跨软件交互</div> </li> <li><a href="/article/1947739679268859904.htm" title="生产环境PostgreSQL逻辑复制与高可用架构实战经验分享" target="_blank">生产环境PostgreSQL逻辑复制与高可用架构实战经验分享</a> <span class="text-muted">浅沫云归</span> <a class="tag" taget="_blank" href="/search/%E5%90%8E%E7%AB%AF%E6%8A%80%E6%9C%AF%E6%A0%88%E5%B0%8F%E7%BB%93/1.htm">后端技术栈小结</a><a class="tag" taget="_blank" href="/search/PostgreSQL/1.htm">PostgreSQL</a><a class="tag" taget="_blank" href="/search/%E9%80%BB%E8%BE%91%E5%A4%8D%E5%88%B6/1.htm">逻辑复制</a><a class="tag" taget="_blank" href="/search/%E9%AB%98%E5%8F%AF%E7%94%A8/1.htm">高可用</a> <div>生产环境PostgreSQL逻辑复制与高可用架构实战经验分享在大规模业务场景中，数据可靠性与可用性至关重要。本文结合真实生产环境案例，分享基于PostgreSQL逻辑复制（LogicalReplication）与流复制（StreamingReplication）建设高可用架构的全流程，包括选型、部署、故障切换与优化思考，为有一定数据库运维和后端基础的读者提供可落地的实战经验。一、业务场景描述业务特</div> </li> <li><a href="/article/1947736780195295232.htm" title="绿色免装 OFD 批量打印小工具：快捷键搞定 OFD 打印，解决右键无选项难题" target="_blank">绿色免装 OFD 批量打印小工具：快捷键搞定 OFD 打印，解决右键无选项难题</a> <span class="text-muted">维度软件库</span> <a class="tag" taget="_blank" href="/search/%E7%94%B5%E8%84%91/1.htm">电脑</a><a class="tag" taget="_blank" href="/search/%E5%BC%80%E6%BA%90%E8%BD%AF%E4%BB%B6/1.htm">开源软件</a><a class="tag" taget="_blank" href="/search/%E6%B5%8B%E8%AF%95%E5%B7%A5%E5%85%B7/1.htm">测试工具</a> <div>各位办公小能手们！今天咱来聊聊批量打印工具，这玩意儿可太牛啦！软件下载地址安装包批量打印工具就是那种能高效处理好多文件打印任务的软件。它的核心功能超厉害，只要一键操作或者自动化流程，就能批量打印PDF、Word、Excel、CAD图纸、OFD这些不同格式的文件。你就不用一个一个打开文件手动打印啦，能省老多事儿，打印效率蹭蹭往上涨！像PrintConductor、BatchPrintPro这种通用文</div> </li> <li><a href="/article/1947727456345583616.htm" title="基于橙武低代码平台的手工作坊成品交付流程管理方案" target="_blank">基于橙武低代码平台的手工作坊成品交付流程管理方案</a> <span class="text-muted">橙武科技</span> <a class="tag" taget="_blank" href="/search/%E4%BD%8E%E4%BB%A3%E7%A0%81/1.htm">低代码</a><a class="tag" taget="_blank" href="/search/AI/1.htm">AI</a><a class="tag" taget="_blank" href="/search/%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD/1.htm">人工智能</a><a class="tag" taget="_blank" href="/search/ai/1.htm">ai</a><a class="tag" taget="_blank" href="/search/%E4%BD%8E%E4%BB%A3%E7%A0%81/1.htm">低代码</a> <div>一、成品交付的管理需求在手工作坊的运营中，成品交付是整个生产流程中的一个关键环节，涉及到多个方面的管理：从原材料的使用记录到损耗比的计算，再到最终的成品质量检查和交付确认。高效的成品交付管理不仅能够提升工作效率，还能确保成品质量，避免原材料的浪费，减少运营成本。手工作坊通常依赖于兼职人员来完成生产任务，而这些兼职人员遍布各地，通过快递接受材料并交付成品。因此，成品交付管理的自动化与精细化至关重要。</div> </li> <li><a href="/article/1947725945293041664.htm" title="盘点一个Python网络爬虫过程中中文乱码的问题" target="_blank">盘点一个Python网络爬虫过程中中文乱码的问题</a> <span class="text-muted">皮皮_f075</span> <div>大家好，我是皮皮。一、前言前几天在Python白银交流群【空翼】问了一个Python网络爬虫中文乱码的问题，提问截图如下：原始代码如下：importrequestsimportparselurl='https://news.p2peye.com/article-514723-1.html'headers={'Accept-Language':'zh-CN,zh;q=0.9','Accept':'a</div> </li> <li><a href="/article/1947708552038641664.htm" title="Dockerfile 完全指南：从入门到精通" target="_blank">Dockerfile 完全指南：从入门到精通</a> <span class="text-muted">赵大仁</span> <a class="tag" taget="_blank" href="/search/nodejs/1.htm">nodejs</a><a class="tag" taget="_blank" href="/search/%E8%BF%90%E7%BB%B4/1.htm">运维</a><a class="tag" taget="_blank" href="/search/%E6%8A%80%E6%9C%AF/1.htm">技术</a><a class="tag" taget="_blank" href="/search/docker/1.htm">docker</a><a class="tag" taget="_blank" href="/search/%E8%BF%90%E7%BB%B4/1.htm">运维</a><a class="tag" taget="_blank" href="/search/%E6%9C%8D%E5%8A%A1%E5%99%A8/1.htm">服务器</a><a class="tag" taget="_blank" href="/search/node.js/1.htm">node.js</a> <div>Dockerfile完全指南：从入门到精通一、什么是Dockerfile？Dockerfile是一个文本文件，包含了一系列构建Docker镜像的指令。通过Dockerfile，开发者可以将应用程序的构建过程标准化、自动化，确保在任何环境中都能生成一致的镜像。使用Dockerfile构建镜像的核心优势：可重复性：相同的Dockerfile在任何环境下都能生成相同的镜像可维护性：以代码形式管理镜像构建</div> </li> <li><a href="/article/1947697836871184384.htm" title="前端项目利用Gitlab CI/CD流水线自动化打包、部署云服务" target="_blank">前端项目利用Gitlab CI/CD流水线自动化打包、部署云服务</a> <span class="text-muted">黑心的奥利奥</span> <a class="tag" taget="_blank" href="/search/%E5%89%8D%E7%AB%AF/1.htm">前端</a><a class="tag" taget="_blank" href="/search/gitlab/1.htm">gitlab</a><a class="tag" taget="_blank" href="/search/ci%2Fcd/1.htm">ci/cd</a> <div>叠甲前言本文仅作为个人学习GitLab的CI/CD功能记录，不适合作为专业性指导，如有纰漏，烦请君指正。Gitlab的CI/CD做什么用的自工作以来，去过大大小小公司，有一些公司技术人员专业性欠佳，每当产品经理或测试人员需要最新或者某个版本的包时【比如安卓的apk包，IOS的ipa包，前端的打包静态资源】，开发总是要停下手中的工作，去手动给测试打包，这类手动工作包括了打开某个项目，加载项目依赖，构</div> </li> <li><a href="/article/1947689257753702400.htm" title="大数据领域HDFS的集群资源管理优化" target="_blank">大数据领域HDFS的集群资源管理优化</a> <span class="text-muted">大数据洞察</span> <a class="tag" taget="_blank" href="/search/%E5%A4%A7%E6%95%B0%E6%8D%AE%E4%B8%8EAI%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD/1.htm">大数据与AI人工智能</a><a class="tag" taget="_blank" href="/search/%E5%A4%A7%E6%95%B0%E6%8D%AEAI%E5%BA%94%E7%94%A8/1.htm">大数据AI应用</a><a class="tag" taget="_blank" href="/search/%E5%A4%A7%E6%95%B0%E6%8D%AE/1.htm">大数据</a><a class="tag" taget="_blank" href="/search/hdfs/1.htm">hdfs</a><a class="tag" taget="_blank" href="/search/hadoop/1.htm">hadoop</a><a class="tag" taget="_blank" href="/search/ai/1.htm">ai</a> <div>大数据领域HDFS的集群资源管理优化关键词：HDFS；集群资源管理；存储优化；性能调优；副本策略；负载均衡；NameNode优化摘要：HDFS（Hadoop分布式文件系统）作为大数据领域的基石，承载着海量数据的存储与管理重任。随着数据规模爆炸式增长和业务复杂度提升，HDFS集群的资源管理面临着"存不下、跑不快、管不好"的三重挑战：存储资源浪费与不足并存、计算与存储资源匹配失衡、集群运维效率低下。本</div> </li> <li><a href="/article/1947674884582731776.htm" title="突破密度瓶颈：PCIe 8xCAN 多通道接口技术解析" target="_blank">突破密度瓶颈：PCIe 8xCAN 多通道接口技术解析</a> <span class="text-muted">Triv2025</span> <a class="tag" taget="_blank" href="/search/%E7%BD%91%E7%BB%9C/1.htm">网络</a><a class="tag" taget="_blank" href="/search/%E9%AB%98%E5%AF%86%E5%BA%A6PCIe/1.htm">高密度PCIe</a><a class="tag" taget="_blank" href="/search/CAN%E6%8E%A5%E5%8F%A3/1.htm">CAN接口</a><a class="tag" taget="_blank" href="/search/%E5%A4%9A%E9%80%9A%E9%81%93CAN/1.htm">多通道CAN</a><a class="tag" taget="_blank" href="/search/FD/1.htm">FD</a><a class="tag" taget="_blank" href="/search/HIL%E6%B5%8B%E8%AF%95/1.htm">HIL测试</a> <div>现代汽车电子、工业自动化及硬件在环（HIL）测试领域，高效集成大量CAN/CANFD通道已成为核心挑战。传统解决方案往往受限于物理空间和接口扩展性，导致系统臃肿且成本高昂。KvaserPCIe8xCAN的推出，从硬件架构层面提供了创新思路。核心密度：PCIex1实现8通道集成该产品的核心价值在于其“通道密度”设计：PCIex1接口承载8通道：仅需占用单个PCIex1插槽，即可提供8个独立的CAN/</div> </li> <li><a href="/article/1947658624859959296.htm" title="OpenCV引擎：驱动实时应用开发的科技狂飙" target="_blank">OpenCV引擎：驱动实时应用开发的科技狂飙</a> <span class="text-muted">芯作者</span> <a class="tag" taget="_blank" href="/search/DD%EF%BC%9A%E8%AE%A1%E7%AE%97%E6%9C%BA%E7%A7%91%E5%AD%A6%E9%A2%86%E5%9F%9F/1.htm">DD：计算机科学领域</a><a class="tag" taget="_blank" href="/search/opencv/1.htm">opencv</a><a class="tag" taget="_blank" href="/search/%E8%AE%A1%E7%AE%97%E6%9C%BA%E8%A7%86%E8%A7%89/1.htm">计算机视觉</a> <div>在人工智能与计算机视觉技术迅猛发展的今天，实时图像处理已成为工业自动化、自动驾驶、医疗诊断、增强现实等领域的核心技术需求。而**OpenCV（OpenSourceComputerVisionLibrary）**作为全球最活跃的开源计算机视觉库，正以其强大的算法生态、跨平台兼容性以及持续进化的架构设计，成为驱动实时应用开发的“数字引擎”。本文将深入剖析OpenCV如何通过技术创新突破实时处理的性能极</div> </li> <li><a href="/article/1947658624373420032.htm" title="Oracle 数据泵导出表部分列的实现方案：从 12c 新特性到低版本兼容" target="_blank">Oracle 数据泵导出表部分列的实现方案：从 12c 新特性到低版本兼容</a> <span class="text-muted">zone--</span> <a class="tag" taget="_blank" href="/search/oracle/1.htm">oracle</a><a class="tag" taget="_blank" href="/search/%E6%95%B0%E6%8D%AE%E5%BA%93/1.htm">数据库</a> <div>在Oracle数据库日常运维中，经常会遇到“只导出表中部分列”的需求——例如某张表包含数十个字段，但业务仅需迁移其中3-5个核心字段的数据。传统的导出工具（如exp或expdp）虽能通过QUERY参数过滤行记录，却无法实现列的筛选。本文基于实践经验，详解不同Oracle版本下导出表部分列的解决方案，包括12c及以上版本的便捷方法和11g及以下版本的兼容方案。12c及以上版本：利用VIEWS_AS_</div> </li> <li><a href="/article/1947657741594062848.htm" title="PostgreSQL 语法详解" target="_blank">PostgreSQL 语法详解</a> <span class="text-muted">沐知全栈开发</span> <a class="tag" taget="_blank" href="/search/%E5%BC%80%E5%8F%91%E8%AF%AD%E8%A8%80/1.htm">开发语言</a> <div>PostgreSQL语法详解引言PostgreSQL是一款功能强大的开源对象关系型数据库管理系统（ORDBMS），广泛应用于各种规模的组织中。其丰富的功能和灵活性使得它成为了众多数据库开发者和运维人员的首选。本文将详细介绍PostgreSQL的语法，帮助读者快速掌握其基本操作。1.数据库连接在操作PostgreSQL之前，首先需要连接到数据库。以下是一个使用PostgreSQL客户端连接到本地数据</div> </li> <li><a href="/article/1947648411591307264.htm" title="云原生安全工具：数字基础设施的免疫长城" target="_blank">云原生安全工具：数字基础设施的免疫长城</a> <span class="text-muted">花海如潮淹</span> <a class="tag" taget="_blank" href="/search/%E4%BA%91%E5%8E%9F%E7%94%9F/1.htm">云原生</a><a class="tag" taget="_blank" href="/search/%E5%AE%89%E5%85%A8/1.htm">安全</a><a class="tag" taget="_blank" href="/search/%E7%BB%8F%E9%AA%8C%E5%88%86%E4%BA%AB/1.htm">经验分享</a><a class="tag" taget="_blank" href="/search/%E7%AC%94%E8%AE%B0/1.htm">笔记</a> <div>⚡运维团队的三重核灾难1.容器漏洞的连锁爆炸某金融平台因基础镜像包含未修复的Log4j漏洞，黑客横向穿透182个Pod，导致2.3亿用户数据泄露（CNCF2024安全报告）。更致命的是，53%的漏洞存在于第三方镜像（Sysdig研究），传统扫描器漏检率超35%。2.微服务边界的信任崩塌某电商因未限制服务账户权限，攻击者通过促销API入侵支付系统，45分钟盗取$4300万（FBI加密犯罪档案）。Ku</div> </li> <li><a href="/article/1947642358740873216.htm" title="以管理为桨划向网络安全“合规彼岸“——等保2.0时代企业安全管理的实践与思考" target="_blank">以管理为桨划向网络安全“合规彼岸“——等保2.0时代企业安全管理的实践与思考</a> <span class="text-muted">两圆相切</span> <a class="tag" taget="_blank" href="/search/%E7%BD%91%E7%BB%9C%E8%A7%84%E5%88%92%E8%AE%BE%E8%AE%A1%E5%B8%88/1.htm">网络规划设计师</a><a class="tag" taget="_blank" href="/search/%E5%AE%89%E5%85%A8/1.htm">安全</a><a class="tag" taget="_blank" href="/search/web%E5%AE%89%E5%85%A8/1.htm">web安全</a><a class="tag" taget="_blank" href="/search/%E7%BD%91%E7%BB%9C/1.htm">网络</a> <div> 今天，我想先问大家一个问题：如果把企业的网络安全比作一艘航行在数字海洋中的巨轮，技术防护是"船体装甲"，那么什么才是"掌舵的手"？答案是——安全管理。 2023年，某头部互联网企业因未严格执行"账号分级管理制度"，一名普通运维人员的误操作引发了全网流量暴增，核心业务中断3小时，直接经济损失超2000万元。更令人痛心的是，该企业早已通过等保2.0测评，但测评时"制度健全"的结论与实际执行的"管</div> </li> <li><a href="/article/1947630137679867904.htm" title="全球软件技术峰会 2025：聚焦大模型开发、智能运维与架构创新，共赴技术实战盛宴" target="_blank">全球软件技术峰会 2025：聚焦大模型开发、智能运维与架构创新，共赴技术实战盛宴</a> <span class="text-muted">向日葵也有悲伤</span> <a class="tag" taget="_blank" href="/search/%E8%BF%90%E7%BB%B4/1.htm">运维</a><a class="tag" taget="_blank" href="/search/%E6%9E%B6%E6%9E%84/1.htm">架构</a><a class="tag" taget="_blank" href="/search/%E6%8E%A8%E8%8D%90%E7%AE%97%E6%B3%95/1.htm">推荐算法</a><a class="tag" taget="_blank" href="/search/%E6%95%B0%E6%8D%AE%E7%BB%93%E6%9E%84/1.htm">数据结构</a><a class="tag" taget="_blank" href="/search/%E5%A4%A7%E6%95%B0%E6%8D%AE/1.htm">大数据</a><a class="tag" taget="_blank" href="/search/%E6%95%B0%E6%8D%AE%E5%BA%93%E6%9E%B6%E6%9E%84/1.htm">数据库架构</a> <div>全球软件技术峰会2025：聚焦大模型开发、智能运维与架构创新，共赴技术实战盛宴在软件定义未来的时代，人工智能与数字化技术正以颠覆性力量重塑全球产业格局。2025年8月15-16日，以"全球专家、卓越智慧"为宗旨的全球软件技术峰会将盛大启幕，特邀全球近50位来自微软、谷歌、亚马逊、字节跳动等企业的技术领袖及一线实战专家，围绕大模型智能应用开发、AI与ML智能运维、软件开发智能化、架构设计与演进四大核</div> </li> <li><a href="/article/86.htm" title="linux系统服务器下jsp传参数乱码" target="_blank">linux系统服务器下jsp传参数乱码</a> <span class="text-muted">3213213333332132</span> <a class="tag" taget="_blank" href="/search/java/1.htm">java</a><a class="tag" taget="_blank" href="/search/jsp/1.htm">jsp</a><a class="tag" taget="_blank" href="/search/linux/1.htm">linux</a><a class="tag" taget="_blank" href="/search/windows/1.htm">windows</a><a class="tag" taget="_blank" href="/search/xml/1.htm">xml</a> <div>在一次解决乱码问题中，发现jsp在windows下用js原生的方法进行编码没有问题，但是到了linux下就有问题， escape,encodeURI,encodeURIComponent等都解决不了问题但是我想了下既然原生的方法不行，我用el标签的方式对中文参数进行加密解密总该可以吧。于是用了java的java.net.URLDecoder,结果还是乱码，最后在绝望之际，用了下面的方法解决了</div> </li> <li><a href="/article/213.htm" title="Spring 注解区别以及应用" target="_blank">Spring 注解区别以及应用</a> <span class="text-muted">BlueSkator</span> <a class="tag" taget="_blank" href="/search/spring/1.htm">spring</a> <div>1. @Autowired @Autowired是根据类型进行自动装配的。如果当Spring上下文中存在不止一个UserDao类型的bean，或者不存在UserDao类型的bean，会抛出 BeanCreationException异常，这时可以通过在该属性上再加一个@Qualifier注解来声明唯一的id解决问题。   2. @Qualifier 当spring中存在至少一个匹</div> </li> <li><a href="/article/340.htm" title="printf和sprintf的应用" target="_blank">printf和sprintf的应用</a> <span class="text-muted">dcj3sjt126com</span> <a class="tag" taget="_blank" href="/search/PHP/1.htm">PHP</a><a class="tag" taget="_blank" href="/search/sprintf/1.htm">sprintf</a><a class="tag" taget="_blank" href="/search/printf/1.htm">printf</a> <div><?php printf('b: %b <br>c: %c <br>d: %d <bf>f: %f', 80,80, 80, 80); echo '<br />'; printf('%0.2f <br>%+d <br>%0.2f <br>', 8, 8, 1235.456); printf('th</div> </li> <li><a href="/article/467.htm" title="config.getInitParameter" target="_blank">config.getInitParameter</a> <span class="text-muted">171815164</span> <a class="tag" taget="_blank" href="/search/parameter/1.htm">parameter</a> <div>web.xml <servlet> <servlet-name>servlet1</servlet-name> <jsp-file>/index.jsp</jsp-file> <init-param> <param-name>str</param-name> </div> </li> <li><a href="/article/594.htm" title="Ant标签详解--基础操作" target="_blank">Ant标签详解--基础操作</a> <span class="text-muted">g21121</span> <a class="tag" taget="_blank" href="/search/ant/1.htm">ant</a> <div>        Ant的一些核心概念：         build.xml：构建文件是以XML 文件来描述的，默认构建文件名为build.xml。        project：每个构建文</div> </li> <li><a href="/article/721.htm" title="[简单]代码片段_数据合并" target="_blank">[简单]代码片段_数据合并</a> <span class="text-muted">53873039oycg</span> <a class="tag" taget="_blank" href="/search/%E4%BB%A3%E7%A0%81/1.htm">代码</a> <div>        合并规则:删除家长phone为空的记录,若一个家长对应多个孩子,保留一条家长记录,家长id修改为phone,对应关系也要修改。         代码如下:        </div> </li> <li><a href="/article/848.htm" title="java 通信技术" target="_blank">java 通信技术</a> <span class="text-muted">云端月影</span> <a class="tag" taget="_blank" href="/search/Java+%E8%BF%9C%E7%A8%8B%E9%80%9A%E4%BF%A1%E6%8A%80%E6%9C%AF/1.htm">Java 远程通信技术</a> <div>在分布式服务框架中，一个最基础的问题就是远程服务是怎么通讯的，在Java领域中有很多可实现远程通讯的技术，例如：RMI、MINA、ESB、Burlap、Hessian、SOAP、EJB和JMS等，这些名词之间到底是些什么关系呢，它们背后到底是基于什么原理实现的呢，了解这些是实现分布式服务框架的基础知识，而如果在性能上有高的要求的话，那深入了解这些技术背后的机制就是必须的了，在这篇blog中我们将来</div> </li> <li><a href="/article/975.htm" title="string与StringBuilder 性能差距到底有多大" target="_blank">string与StringBuilder 性能差距到底有多大</a> <span class="text-muted">aijuans</span> <div>          之前也看过一些对string与StringBuilder的性能分析，总感觉这个应该对整体性能不会产生多大的影响，所以就一直没有关注这块！         由于学程序初期最先接触的string拼接，所以就一直没改变过自己的习惯！         </div> </li> <li><a href="/article/1102.htm" title="今天碰到 java.util.ConcurrentModificationException 异常" target="_blank">今天碰到 java.util.ConcurrentModificationException 异常</a> <span class="text-muted">antonyup_2006</span> <a class="tag" taget="_blank" href="/search/java/1.htm">java</a><a class="tag" taget="_blank" href="/search/%E5%A4%9A%E7%BA%BF%E7%A8%8B/1.htm">多线程</a><a class="tag" taget="_blank" href="/search/%E5%B7%A5%E4%BD%9C/1.htm">工作</a><a class="tag" taget="_blank" href="/search/IBM/1.htm">IBM</a> <div>今天改bug，其中有个实现是要对map进行循环，然后有删除操作，代码如下： Iterator<ListItem> iter = ItemMap.keySet.iterator(); while(iter.hasNext()){ ListItem it = iter.next(); //...一些逻辑操作 ItemMap.remove(it); } 结果运行报Con</div> </li> <li><a href="/article/1229.htm" title="PL/SQL的类型和JDBC操作数据库" target="_blank">PL/SQL的类型和JDBC操作数据库</a> <span class="text-muted">百合不是茶</span> <a class="tag" taget="_blank" href="/search/PL%2FSQL%E8%A1%A8/1.htm">PL/SQL表</a><a class="tag" taget="_blank" href="/search/%E6%A0%87%E9%87%8F%E7%B1%BB%E5%9E%8B/1.htm">标量类型</a><a class="tag" taget="_blank" href="/search/%E6%B8%B8%E6%A0%87/1.htm">游标</a><a class="tag" taget="_blank" href="/search/PL%2FSQL%E8%AE%B0%E5%BD%95/1.htm">PL/SQL记录</a> <div>PL/SQL的标量类型:    字符,数字,时间,布尔,%type五中类型的 --标量：数据库中预定义类型的变量 --定义一个变长字符串 v_ename varchar2(10); --定义一个小数,范围 -9999.99~9999.99 v_sal number(6,2); --定义一个小数并给一个初始值为5.4 :=是pl/sql的赋值号 </div> </li> <li><a href="/article/1356.htm" title="Mockito：一个强大的用于 Java 开发的模拟测试框架实例" target="_blank">Mockito：一个强大的用于 Java 开发的模拟测试框架实例</a> <span class="text-muted">bijian1013</span> <a class="tag" taget="_blank" href="/search/mockito/1.htm">mockito</a><a class="tag" taget="_blank" href="/search/%E5%8D%95%E5%85%83%E6%B5%8B%E8%AF%95/1.htm">单元测试</a> <div>Mockito框架：         Mockito是一个基于MIT协议的开源java测试框架。         Mockito区别于其他模拟框架的地方主要是允许开发者在没有建立“预期”时验证被测系统的行为。对于mock对象的一个评价是测试系统的测</div> </li> <li><a href="/article/1483.htm" title="精通Oracle10编程SQL(10)处理例外" target="_blank">精通Oracle10编程SQL(10)处理例外</a> <span class="text-muted">bijian1013</span> <a class="tag" taget="_blank" href="/search/oracle/1.htm">oracle</a><a class="tag" taget="_blank" href="/search/%E6%95%B0%E6%8D%AE%E5%BA%93/1.htm">数据库</a><a class="tag" taget="_blank" href="/search/plsql/1.htm">plsql</a> <div>/* *处理例外 */ --例外简介 --处理例外-传递例外 declare v_ename emp.ename%TYPE; begin SELECT ename INTO v_ename FROM emp where empno=&no; dbms_output.put_line('雇员名：'||v_ename); exceptio</div> </li> <li><a href="/article/1610.htm" title="【Java】Java执行远程机器上Linux命令" target="_blank">【Java】Java执行远程机器上Linux命令</a> <span class="text-muted">bit1129</span> <a class="tag" taget="_blank" href="/search/linux%E5%91%BD%E4%BB%A4/1.htm">linux命令</a> <div>Java使用ethz通过ssh2执行远程机器Linux上命令，   封装定义Linux机器的环境信息   package com.tom; import java.io.File; public class Env { private String hostaddr; //Linux机器的IP地址 private Integer po</div> </li> <li><a href="/article/1737.htm" title="java通信之Socket通信基础" target="_blank">java通信之Socket通信基础</a> <span class="text-muted">白糖_</span> <a class="tag" taget="_blank" href="/search/java/1.htm">java</a><a class="tag" taget="_blank" href="/search/socket/1.htm">socket</a><a class="tag" taget="_blank" href="/search/%E7%BD%91%E7%BB%9C%E5%8D%8F%E8%AE%AE/1.htm">网络协议</a> <div>正处于网络环境下的两个程序，它们之间通过一个交互的连接来实现数据通信。每一个连接的通信端叫做一个Socket。一个完整的Socket通信程序应该包含以下几个步骤： ①创建Socket； ②打开连接到Socket的输入输出流； ④按照一定的协议对Socket进行读写操作； ④关闭Socket。   Socket通信分两部分：服务器端和客户端。服务器端必须优先启动，然后等待soc</div> </li> <li><a href="/article/1864.htm" title="angular.bind" target="_blank">angular.bind</a> <span class="text-muted">boyitech</span> <a class="tag" taget="_blank" href="/search/AngularJS/1.htm">AngularJS</a><a class="tag" taget="_blank" href="/search/angular.bind/1.htm">angular.bind</a><a class="tag" taget="_blank" href="/search/AngularJS+API/1.htm">AngularJS API</a><a class="tag" taget="_blank" href="/search/bind/1.htm">bind</a> <div>angular.bind 描述：         上下文，函数以及参数动态绑定，返回值为绑定之后的函数. 其中args是可选的动态参数，self在fn中使用this调用。使用方法：          angular.bind(se</div> </li> <li><a href="/article/1991.htm" title="java-13个坏人和13个好人站成一圈，数到7就从圈里面踢出一个来，要求把所有坏人都给踢出来，所有好人都留在圈里。请找出初始时坏人站的位置。" target="_blank">java-13个坏人和13个好人站成一圈，数到7就从圈里面踢出一个来，要求把所有坏人都给踢出来，所有好人都留在圈里。请找出初始时坏人站的位置。</a> <span class="text-muted">bylijinnan</span> <a class="tag" taget="_blank" href="/search/java/1.htm">java</a> <div> import java.util.ArrayList; import java.util.List; public class KickOutBadGuys { /** * 题目：13个坏人和13个好人站成一圈，数到7就从圈里面踢出一个来，要求把所有坏人都给踢出来，所有好人都留在圈里。请找出初始时坏人站的位置。 * Maybe you can find out </div> </li> <li><a href="/article/2118.htm" title="Redis.conf配置文件及相关项说明（自查备用）" target="_blank">Redis.conf配置文件及相关项说明（自查备用）</a> <span class="text-muted">Kai_Ge</span> <a class="tag" taget="_blank" href="/search/redis/1.htm">redis</a> <div>   Redis.conf配置文件及相关项说明 # Redis configuration file example # Note on units: when memory size is needed, it is possible to specifiy # it in the usual form of 1k 5GB 4M and so forth: # </div> </li> <li><a href="/article/2245.htm" title="[强人工智能]实现大规模拓扑分析是实现强人工智能的前奏" target="_blank">[强人工智能]实现大规模拓扑分析是实现强人工智能的前奏</a> <span class="text-muted">comsci</span> <a class="tag" taget="_blank" href="/search/%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD/1.htm">人工智能</a> <div>      真不好意思,各位朋友...博客再次更新...      节点数量太少,网络的分析和处理能力肯定不足,在面对机器人控制的需求方面,显得力不从心....      但是,节点数太多,对拓扑数据处理的要求又很高,设计目标也很高,实现起来难度颇大... </div> </li> <li><a href="/article/2372.htm" title="记录一些常用的函数" target="_blank">记录一些常用的函数</a> <span class="text-muted">dai_lm</span> <a class="tag" taget="_blank" href="/search/java/1.htm">java</a> <div> public static String convertInputStreamToString(InputStream is) { StringBuilder result = new StringBuilder(); if (is != null) try { InputStreamReader inputReader = new InputStreamRead</div> </li> <li><a href="/article/2499.htm" title="Hadoop中小规模集群的并行计算缺陷" target="_blank">Hadoop中小规模集群的并行计算缺陷</a> <span class="text-muted">datamachine</span> <a class="tag" taget="_blank" href="/search/mapreduce/1.htm">mapreduce</a><a class="tag" taget="_blank" href="/search/hadoop/1.htm">hadoop</a><a class="tag" taget="_blank" href="/search/%E5%B9%B6%E8%A1%8C%E8%AE%A1%E7%AE%97/1.htm">并行计算</a> <div>注：写这篇文章的初衷是因为Hadoop炒得有点太热，很多用户现有数据规模并不适用于Hadoop，但迫于扩容压力和去IOE（Hadoop的廉价扩展的确非常有吸引力）而尝试。尝试永远是件正确的事儿，但有时候不用太突进，可以调优或调需求，发挥现有系统的最大效用为上策。 -----------------------------------------------------------------</div> </li> <li><a href="/article/2626.htm" title="小学4年级英语单词背诵第二课" target="_blank">小学4年级英语单词背诵第二课</a> <span class="text-muted">dcj3sjt126com</span> <a class="tag" taget="_blank" href="/search/english/1.htm">english</a><a class="tag" taget="_blank" href="/search/word/1.htm">word</a> <div>egg  蛋 twenty 二十 any 任何 well 健康的，好   twelve 十二 farm 农场 every 每一个 back 向后，回   fast 快速的 whose 谁的 much 许多 flower 花   watch 手表 very 非常，很 sport 运动 Chinese 中国的   </div> </li> <li><a href="/article/2753.htm" title="自己实践了github的webhooks, linux上面的权限需要注意" target="_blank">自己实践了github的webhooks, linux上面的权限需要注意</a> <span class="text-muted">dcj3sjt126com</span> <a class="tag" taget="_blank" href="/search/github/1.htm">github</a><a class="tag" taget="_blank" href="/search/webhook/1.htm">webhook</a> <div>环境, 阿里云服务器   1. 本地创建项目, push到github服务器上面   2. 生成www用户的密钥 sudo -u www ssh-keygen -t rsa -C "xxx@xx.com"     3. 将密钥添加到github帐号的SSH_KEYS里面   3. 用www用户执行克隆, 源使</div> </li> <li><a href="/article/2880.htm" title="Java冒泡排序" target="_blank">Java冒泡排序</a> <span class="text-muted">蕃薯耀</span> <a class="tag" taget="_blank" href="/search/%E5%86%92%E6%B3%A1%E6%8E%92%E5%BA%8F/1.htm">冒泡排序</a><a class="tag" taget="_blank" href="/search/Java%E5%86%92%E6%B3%A1%E6%8E%92%E5%BA%8F/1.htm">Java冒泡排序</a><a class="tag" taget="_blank" href="/search/Java%E6%8E%92%E5%BA%8F/1.htm">Java排序</a> <div>冒泡排序 >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>> 蕃薯耀 2015年6月23日 10:40:14 星期二 http://fanshuyao.iteye.com/</div> </li> <li><a href="/article/3007.htm" title="Excle读取数据转换为实体List【基于apache-poi】" target="_blank">Excle读取数据转换为实体List【基于apache-poi】</a> <span class="text-muted">hanqunfeng</span> <a class="tag" taget="_blank" href="/search/apache/1.htm">apache</a> <div>1.依赖apache-poi   2.支持xls和xlsx   3.支持按属性名称绑定数据值   4.支持从指定行、列开始读取   5.支持同时读取多个sheet   6.具体使用方式参见org.cpframework.utils.excelreader.CP_ExcelReaderUtilTest.java 比如： Str</div> </li> <li><a href="/article/3134.htm" title="3个处于草稿阶段的Javascript API介绍" target="_blank">3个处于草稿阶段的Javascript API介绍</a> <span class="text-muted">jackyrong</span> <a class="tag" taget="_blank" href="/search/JavaScript/1.htm">JavaScript</a> <div>原文： http://www.sitepoint.com/3-new-javascript-apis-may-want-follow/?utm_source=html5weekly&utm_medium=email   本文中，介绍3个仍然处于草稿阶段，但应该值得关注的Javascript API. 1) Web Alarm API   &</div> </li> <li><a href="/article/3261.htm" title="6个创建Web应用程序的高效PHP框架" target="_blank">6个创建Web应用程序的高效PHP框架</a> <span class="text-muted">lampcy</span> <a class="tag" taget="_blank" href="/search/Web/1.htm">Web</a><a class="tag" taget="_blank" href="/search/%E6%A1%86%E6%9E%B6/1.htm">框架</a><a class="tag" taget="_blank" href="/search/PHP/1.htm">PHP</a> <div>以下是创建Web应用程序的PHP框架，有coder bay网站整理推荐： 1. CakePHP CakePHP是一个PHP快速开发框架，它提供了一个用于开发、维护和部署应用程序的可扩展体系。CakePHP使用了众所周知的设计模式，如MVC和ORM，降低了开发成本，并减少了开发人员写代码的工作量。 2. CodeIgniter CodeIgniter是一个非常小且功能强大的PHP框架，适合需</div> </li> <li><a href="/article/3388.htm" title="评"救市后中国股市新乱象泛起"谣言" target="_blank">评"救市后中国股市新乱象泛起"谣言</a> <span class="text-muted">nannan408</span> <div>首先来看百度百家一位易姓作者的新闻：三个多星期来股市持续暴跌，跌得投资者及上市公司都处于极度的恐慌和焦虑中，都要寻找自保及规避风险的方式。面对股市之危机，政府突然进入市场救市，希望以此来重建市场信心，以此来扭转股市持续暴跌的预期。而政府进入市场后，由于市场运作方式发生了巨大变化，投资者及上市公司为了自保及为了应对这种变化，中国股市新的乱象也自然产生。首先，中国股市这两天</div> </li> <li><a href="/article/3515.htm" title="页面全屏遮罩的实现方式" target="_blank">页面全屏遮罩的实现方式</a> <span class="text-muted">Rainbow702</span> <a class="tag" taget="_blank" href="/search/html/1.htm">html</a><a class="tag" taget="_blank" href="/search/css/1.htm">css</a><a class="tag" taget="_blank" href="/search/%E9%81%AE%E7%BD%A9/1.htm">遮罩</a><a class="tag" taget="_blank" href="/search/mask/1.htm">mask</a> <div>之前做了一个页面，在点击了某个按钮之后，要求页面出现一个全屏遮罩，一开始使用了position:absolute来实现的。当时因为画面大小是固定的，不可以resize的，所以，没有发现问题。最近用了同样的做法做了一个遮罩，但是画面是可以进行resize的，所以就发现了一个问题，当画面被reisze到浏览器出现了滚动条的时候，就发现，用absolute 的做法是有问题的。后来改成fixed定位就</div> </li> <li><a href="/article/3642.htm" title="关于angularjs的点滴" target="_blank">关于angularjs的点滴</a> <span class="text-muted">tntxia</span> <a class="tag" taget="_blank" href="/search/AngularJS/1.htm">AngularJS</a> <div>  angular是一个新兴的JS框架，和以往的框架不同的事，Angularjs更注重于js的建模，管理，同时也提供大量的组件帮助用户组建商业化程序，是一种值得研究的JS框架。   Angularjs使我们可以使用MVC的模式来写JS。Angularjs现在由谷歌来维护。   这里我们来简单的探讨一下它的应用。   首先使用Angularjs我</div> </li> <li><a href="/article/3769.htm" title="Nutz--->>反复新建ioc容器的后果" target="_blank">Nutz--->>反复新建ioc容器的后果</a> <span class="text-muted">xiaoxiao1992428</span> <a class="tag" taget="_blank" href="/search/DAO/1.htm">DAO</a><a class="tag" taget="_blank" href="/search/mvc/1.htm">mvc</a><a class="tag" taget="_blank" href="/search/IOC/1.htm">IOC</a><a class="tag" taget="_blank" href="/search/nutz/1.htm">nutz</a> <div>问题： public class DaoZ {     public static Dao dao() { // 每当需要使用dao的时候就取一次     Ioc ioc = new NutIoc(new JsonLoader("dao.js"));     return ioc.get(</div> </li> </ul> </div> </div> </div> <div> <div class="container"> <div class="indexes"> <strong>按字母分类：</strong> <a href="/tags/A/1.htm" target="_blank">A</a><a href="/tags/B/1.htm" target="_blank">B</a><a href="/tags/C/1.htm" target="_blank">C</a><a href="/tags/D/1.htm" target="_blank">D</a><a href="/tags/E/1.htm" target="_blank">E</a><a href="/tags/F/1.htm" target="_blank">F</a><a href="/tags/G/1.htm" target="_blank">G</a><a href="/tags/H/1.htm" target="_blank">H</a><a href="/tags/I/1.htm" target="_blank">I</a><a href="/tags/J/1.htm" target="_blank">J</a><a href="/tags/K/1.htm" target="_blank">K</a><a href="/tags/L/1.htm" target="_blank">L</a><a href="/tags/M/1.htm" target="_blank">M</a><a href="/tags/N/1.htm" target="_blank">N</a><a href="/tags/O/1.htm" target="_blank">O</a><a href="/tags/P/1.htm" target="_blank">P</a><a href="/tags/Q/1.htm" target="_blank">Q</a><a href="/tags/R/1.htm" target="_blank">R</a><a href="/tags/S/1.htm" target="_blank">S</a><a href="/tags/T/1.htm" target="_blank">T</a><a href="/tags/U/1.htm" target="_blank">U</a><a href="/tags/V/1.htm" target="_blank">V</a><a href="/tags/W/1.htm" target="_blank">W</a><a href="/tags/X/1.htm" target="_blank">X</a><a href="/tags/Y/1.htm" target="_blank">Y</a><a href="/tags/Z/1.htm" target="_blank">Z</a><a href="/tags/0/1.htm" target="_blank">其他</a> </div> </div> </div> <footer id="footer" class="mb30 mt30"> <div class="container"> <div class="footBglm"> <a target="_blank" href="/">首页</a> - <a target="_blank" href="/custom/about.htm">关于我们</a> - <a target="_blank" href="/search/Java/1.htm">站内搜索</a> - <a target="_blank" href="/sitemap.txt">Sitemap</a> - <a target="_blank" href="/custom/delete.htm">侵权投诉</a> </div> <div class="copyright">版权所有 IT知识库 CopyRight © 2000-2050 E-COM-NET.COM , All Rights Reserved.  </div> </div> </footer>  <script type="text/javascript" src="/static/syntaxhighlighter/scripts/shCore.js"></script> <script type="text/javascript" src="/static/syntaxhighlighter/scripts/shLegacy.js"></script> <script type="text/javascript" src="/static/syntaxhighlighter/scripts/shAutoloader.js"></script> <link type="text/css" rel="stylesheet" href="/static/syntaxhighlighter/styles/shCoreDefault.css"/> <script type="text/javascript" src="/static/syntaxhighlighter/src/my_start_1.js"></script> </body> </html>

一个神奇的自动化爬虫利器 - DrissionPagae

DrissionPagae

相关

优势