Playwright从入门到实战：比Selenium更快的数据爬取案例实战

摘要

Playwright 是微软开源的下一代浏览器自动化工具，凭借其高性能、跨浏览器支持和现代化设计，迅速成为 Web 自动化领域的热门选择。本文将从 安装配置 开始，通过 实战演练 展示其核心功能，并与 Selenium 深度对比，帮助开发者选择适合的工具。

一、Playwright 基础前置知识

1. 什么是 Playwright？

Playwright 是一个支持 Chromium、Firefox、WebKit 的浏览器自动化工具，提供统一的 API 控制不同浏览器，适用于网页爬虫、自动化测试、数据采集等场景。

2. 安装前的准备

• Python 环境：确保已安装 Python 3.7+，并配置好环境变量（参考 Python 官方安装指南）。
• 权限问题：若在 Windows 系统中遇到权限错误，建议以管理员身份运行 PowerShell。

3. 安装 Playwright

# 安装 Python 库
pip install playwright

# 下载浏览器驱动（自动执行）
python -m playwright install

• 验证安装：

  from playwright.sync_api import sync_playwright
  with sync_playwright() as p:
      print(p.chromium.version)  # 输出 Chromium 版本号
  

二、Playwright 实战演练：爬取电商网站数据

1. 示例场景

访问电商网站（示例使用 https://books.toscrape.com/），搜索书籍并提取价格信息。

2. 完整代码

from playwright.sync_api import sync_playwright

def scrape_books():
    with sync_playwright() as p:
        # 启动浏览器（支持无头模式）
        browser = p.chromium.launch(headless=False)
        page = browser.new_page()

        try:
            # 访问目标页面
            page.goto("https://books.toscrape.com/", timeout=30000)

            # 搜索书籍
            search_box = page.locator('input[name="q"]')
            search_box.fill("Python编程")
            search_box.press("Enter")

            # 等待结果加载
            page.wait_for_selector(".product_pod", state="visible")

            # 提取数据
            books = page.locator_all(".product_pod")
            for book in books:
                title = book.locator("h3 a").inner_text()
                price = book.locator(".price_color").inner_text()
                print(f"书名: {title}, 价格: {price}")

            # 截图保存
            page.screenshot(path="search_results.png")

        except Exception as e:
            print(f"操作失败: {e}")
        finally:
            browser.close()

if __name__ == "__main__":
    scrape_books()

3. 代码解析

• 智能等待：page.wait_for_selector() 自动处理页面加载延迟。
• 异常处理：try-except-finally 结构提升脚本健壮性。
• 元素定位：通过 CSS 选择器精准定位元素（如输入框、商品卡片）。

三、Playwright vs Selenium：深度对比

1. 核心差异总结

维度	Playwright	Selenium
启动速度	更快（直接通过 CDP 连接）。	较慢（需启动独立浏览器进程）。
元素等待	智能自动等待，减少代码量。	需手动添加显式/隐式等待。
跨浏览器支持	原生支持 Chromium/Firefox/WebKit。	需下载不同驱动（如 ChromeDriver）。
弹窗处理	内置处理 iframe、弹窗、页面跳转。	需手动切换上下文（如 driver.switch_to.alert）。
移动端模拟	内置设备模拟（如 iPhone、Android）。	需手动设置 User-Agent 和视口。
网络拦截	支持请求拦截与修改（如 page.route()）。	需依赖插件或代理（如 BrowserMob）。

2. 适用场景推荐

• 选择 Playwright：

  • 需要处理动态加载、弹窗等复杂交互。
  • 要求跨浏览器测试统一性。
  • 追求最新特性（如视口缩放、设备模拟）。

• 选择 Selenium：

  • 维护老旧项目（如兼容 IE 11）。
  • 依赖现有 Selenium 生态（如云测试平台）。

四、Playwright 高级技巧

1. 多标签页操作

with browser.new_page() as new_page:
    new_page.goto("https://example.com")
    print(new_page.title())

2. 拦截网络请求

def handle_route(route):
    if "ads" in route.url:
        route.abort()  # 屏蔽广告请求

page.route("**/*", handle_route)

3. 无头模式与有头模式切换

browser = p.chromium.launch(headless=True)  # 无界面模式（默认）
browser = p.chromium.launch(headless=False) # 显示浏览器界面（调试模式）

五、总结与建议

1. Playwright 的优势

• 高效稳定：自动处理异步加载，减少脚本维护成本。
• 功能全面：内置截图、录屏、网络拦截等实用工具。
• 未来趋势：微软持续更新，社区生态快速成长。

2. 如何选择工具？

• 新项目优先选 Playwright：覆盖现代 Web 应用需求。
• 旧系统兼容选 Selenium：解决 IE 11 等遗留问题。

3. 注意事项

• 合法合规：遵守目标网站的 robots.txt 协议。
• 反爬策略：合理设置请求频率，避免触发封禁。

通过本文，您已掌握 Playwright 的基础用法、实战技巧及与 Selenium 的差异。无论是网页爬虫还是自动化测试，Playwright 都能提供高效可靠的解决方案。立即尝试并探索其更多可能性吧！