Airtest-Selenium实操小课：爬取新榜数据

1. 前言

最近看到群里很多小伙伴都在用Airtest-Selenium做一些web自动化的尝试，正好趁此机会，我们也出几个关于web自动化的实操小课，仅供大家参考~

今天跟大家分享的是一个非常简单的爬取网页信息的小练习，在百度找到新榜网页，搜索关键词“自动化”，爬取前5名的公众号名称。

2. 需求分析和准备

整体的需求大致可以分为以下步骤：

• 打开chrome浏览器
• 打开百度网页
• 搜索“新榜官网”
• 点击“找达人”按钮
• 搜索关键词“自动化”
• 爬取排名前5的公众号名称

在写脚本之前，我们需要准备好社区版AirtestIDE，设置好chrome.exe和对应的driver；并且确保我们的chrome浏览器版本不是太高以及selenium是4.0以下即可（这些兼容问题我们都会在后续的版本修复）。

3. 脚本实现

3.1 完整示例代码

接下来就可以着手写脚本啦，关于web自动化脚本，我们可以借助IDE的selenium Window ，方便我们录制控件信息和快速使用常用接口：

完整的参考代码如下：

1. # -*- encoding=utf8 -*-

2. __author__ = "AirtestProject"

4. from airtest.core.api import *

5. from airtest_selenium.proxy import WebChrome

6. from selenium.webdriver.common.keys import Keys

7. from selenium.webdriver.common.by import By

9. """

10. 任务描述：打开chrome浏览器，打开百度搜索新榜，进入新榜搜索关键词“自动化”，爬取自动化综合排名前10的公众号名称

11. https://www.newrank.cn/search/gongzhonghao/%E8%87%AA%E5%8A%A8%E5%8C%96

12. """

13. def start_selenium():

14. # 创建一个实例，代码运行到这里，会打开一个chrome浏览器

15. driver = WebChrome()

16. driver.implicitly_wait(20)

18. driver.get("https://www.baidu.com/")

19. # 输入搜索关键词并提交搜索

20. search_box = driver.find_element_by_name('wd')

21. search_box.send_keys('新榜官网')

22. search_box.submit()

23. # 使用XPath查找文本为 "上海新榜信息技术股份" 的元素并点击

24. try:

25. element = driver.find_element_by_xpath("//div[@id='content_left']/div[@id='1']/div[@class='c-container']/div[1]/h3[@class='c-title t t tts-title']/a")

26. except Exception as e:

27. element = driver.find_element_by_xpath('//*/text()[normalize-space()="上海新榜信息技术股份"]/parent::*')

28. element.click()

29. # 获取所有窗口句柄

30. window_handles = driver.window_handles

31. # 切换到新打开的窗口

32. driver.switch_to.window(window_handles[1])

33. # 获取新页面的链接

34. new_page_url = driver.current_url

35. # 打印新页面的链接

36. print(new_page_url)

37. driver.get(new_page_url)

38. # # 在主内容内部查找 "找达人" 按钮并点击

39. search_box = driver.find_element_by_xpath('//button[@class="ant-btn ant-btn-primary ant-btn-lg index_searchBtn__c3q_1"]//a')

41. print(search_box.text)

42. # 获取a标签的URL

43. url = search_box.get_attribute('href')

44. # 打印URL

45. print(url)

46. driver.get(url) # 请求搜索链接-跳转

47. # 输入搜索关键词并提交搜索

48. search_box = driver.find_element_by_id('rc_select_0')

49. # 模拟发送Backspace键

50. search_box.send_keys(Keys.BACKSPACE) # 清空内容

51. search_box.send_keys(Keys.BACKSPACE)

52. search_box.send_keys('自动化')

53. # 模拟发送Enter键

54. search_box.send_keys(Keys.ENTER)

55. sleep(5)

56. list_date = driver.find_elements(By.XPATH, "//div[@class='ant-spin-container']//li")

57. for item in list_date:

58. name_str = item.find_element_by_class_name("index_name__Fk83i")

59. print(name_str.text)

61. if __name__ == "__main__":

62. start_selenium()

3.2 重要知识点

1）创建实例并打开浏览器

driver = WebChrome()

2）打开网页

driver.get("https://www.baidu.com/")

3）元素定位

driver.find_element_by_xpath('//button[@class="ant-btn ant-btn-primary ant-btn-lg index_searchBtn__c3q_1"]//a')

更多定位方式可以在官方教程学习：selenium-python中文文档 。

4）模拟按键输入

1. search_box = driver.find_element_by_name('wd')

2. search_box.send_keys('新榜官网')

5）模拟回车

1. search_box = driver.find_element_by_name('wd')

2. search_box.submit()

6）模拟键盘事件

1. search_box = driver.find_element_by_id('rc_select_0')

2. # 模拟发送Backspace键

3. search_box.send_keys(Keys.BACKSPACE)

4. 注意事项与小结​​​​​

4.2 参考脚本的有效性

请同学们不要过多依赖于我们给出的参考脚本，通常情况下，网页的控件信息可能会随着前端的改动而更新，所以我们的教程并不是永久有效的。

更多的是参考整体脚本的知识点，查漏补缺，让自己在小实践中对web自动化的熟练程度更高。也非常欢迎热心同学给我们投稿~

总结：

感谢每一个认真阅读我文章的人！！！

作为一位过来人也是希望大家少走一些弯路，如果你不想再体验一次学习时找不到资料，没人解答问题，坚持几天便放弃的感受的话，在这里我给大家分享一些自动化测试的学习资源，希望能给你前进的路上带来帮助。

  视频文档获取方式：
这份文档和视频资料，对于想从事【软件测试】的朋友来说应该是最全面最完整的备战仓库，这个仓库也陪伴我走过了最艰难的路程，希望也能帮助到你！以上均可以分享，点下方小卡片即可自行领取