day03 Selenium剩余功能的实现和BeautifulSoup4使用

昨日回顾:
一 爬取豆瓣电音TOP250

1.爬取电影页
2.解析提取电影信息
3.保存数据

二 Selenium请求库
驱动浏览器往目标网站发送请求,获取响应数据。
- 不需要分析复杂的通信流程
- 执行js代码
- 获取动态数据


三 selenium使用
driver = webdriver.Chrome() 打开驱动浏览器
# 隐式等待
driver.get('网站') 往某个网站发送请求
# 显式等待
driver.close()

四 选择器
element: 查找一个
elements: 查找多个

by_id
by_class_name
by_name
by_link_text
by_partial_link_text
by_css_selector

 

今日内容:

一、 Selenium剩余部分

二 、BeautifulSoup4

 

一、 Selenium剩余部分

1.元素交互操作:

- 点击、清除

click

clear

- ActionChains
是一个动作链对象,需要把driver驱动传给它。
动作链对象可以操作一系列设定好的动作行为。

- iframe的切换
driver.switch_to.frame('iframeResult')

- 执行js代码
execute_script()

附上代码实现:

一、元素交互操作

from selenium import webdriver
from selenium.webdriver import ActionChains
from selenium.webdriver.common.keys import Keys  # 键盘按键操作
import time



driver = webdriver.Chrome()

try:
    driver.implicitly_wait(10)
    driver.get('https://www.jd.com/')
    time.sleep(5)

    # 点击、清除
    input = driver.find_element_by_id('key')
    input.send_keys('围城')

    # 通过class查找搜索按钮
    search = driver.find_element_by_class_name('button')
    search.click()  # 点击搜索按钮

    time.sleep(3)

    input2 = driver.find_element_by_id('key')
    input2.clear()  # 清空输入框

    time.sleep(1)

    input2.send_keys('墨菲定律')
    input2.send_keys(Keys.ENTER)

    time.sleep(10)

finally:
    driver.close()
'''
ActionChains: 动作链
'''
from selenium import webdriver
from selenium.webdriver import ActionChains
from selenium.webdriver.common.keys import Keys  # 键盘按键操作
import time



driver = webdriver.Chrome()
try:
    driver.implicitly_wait(10)
    driver.get('http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable')
    time.sleep(5)

    # 遗弃方法
    # driver.switch_to_frame()
    # 新方法
    driver.switch_to.frame('iframeResult')
    time.sleep(1)

    # 获取动作链对象
    action = ActionChains(driver)

    # 起始方块id: draggable
    source = driver.find_element_by_id('draggable')

    # 目标方块id: droppable
    target = driver.find_element_by_id('droppable')

    # 方式一: 秒移
    # 起始方块瞬间移动到目标方块中
    # 拟定好一个动作,需要调用执行方法perform
    # action.drag_and_drop(source, target).perform()


    time.sleep(10)

finally:
    driver.close()
from selenium import webdriver
from selenium.webdriver import ActionChains
from selenium.webdriver.common.keys import Keys  # 键盘按键操作
import time

driver = webdriver.Chrome()
try:
    driver.implicitly_wait(10)
    driver.get('http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable')
    time.sleep(5)

    # 遗弃方法
    # driver.switch_to_frame()
    # 新方法
    driver.switch_to.frame('iframeResult')
    time.sleep(1)

    # 起始方块id: draggable
    source = driver.find_element_by_id('draggable')

    # 目标方块id: droppable
    target = driver.find_element_by_id('droppable')

    print(source.size)  # 大小
    print(source.tag_name)  # 标签名
    print(source.text)  # 文本
    print(source.location)  # 坐标: X与Y轴

    # 找到滑动距离
    distance = target.location['x'] - source.location['x']

    # 摁住起始滑块
    ActionChains(driver).click_and_hold(source).perform()

    # 方式二: 一点一点移动
    s = 0
    while s < distance:
        # 获取动作链对象
        # 每一次位移s距离
        ActionChains(driver).move_by_offset(xoffset=2, yoffset=0).perform()
        s += 2

        time.sleep(0.1)

    # 松开起始滑块
    ActionChains(driver).release().perform()


    time.sleep(10)

finally:
    driver.close()
'''
执行js代码
'''
from selenium import webdriver
import time

driver = webdriver.Chrome()
try:
    driver.implicitly_wait(10)

    driver.get('https://www.baidu.com/')

    driver.execute_script(
        '''
        alert("NB!")
        '''
    )

    time.sleep(10)

finally:
    driver.close()

 二、其他操作

''''''
'''
模拟浏览器的前进后退
'''
import time
from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.baidu.com')

browser.get('https://www.taobao.com')

browser.get('http://www.sina.com.cn/')

# 回退
browser.back()

time.sleep(5)

# 前进
browser.forward()

time.sleep(3)

browser.close()

三、爬取京东商品信息

import time
from selenium import webdriver
from selenium.webdriver.common.keys import Keys


def get_good(driver):
    num = 1
    try:
        time.sleep(5)

        # 下拉滑动5000px
        js_code = '''
            window.scrollTo(0, 5000)
        '''
        driver.execute_script(js_code)

        # 等待5秒,待商品数据加载
        time.sleep(5)
        good_list = driver.find_elements_by_class_name('gl-item')
        for good in good_list:
            # 商品名称
            good_name = good.find_element_by_css_selector('.p-name em').text

            # 商品链接
            good_url = good.find_element_by_css_selector('.p-name a').get_attribute('href')

            # 商品价格
            good_price = good.find_element_by_class_name('p-price').text

            # 商品评价
            good_commit = good.find_element_by_class_name('p-commit').text

            good_content = f'''
            num: {num}
            商品名称: {good_name}
            商品链接: {good_url}
            商品价格: {good_price}
            商品评价: {good_commit}
            \n
            '''
            print(good_content)
            with open('jd.txt', 'a', encoding='utf-8') as f:
                f.write(good_content)
            num += 1

        print('商品信息写入成功!')

        # 找到下一页并点击
        next_tag = driver.find_element_by_class_name('pn-next')
        next_tag.click()

        time.sleep(5)
        # 递归调用函数本身
        get_good(driver)

    finally:
        driver.close()


if __name__ == '__main__':
    driver = webdriver.Chrome()
    try:
        driver.implicitly_wait(10)
        # 往京东发送请求
        driver.get('https://www.jd.com/')
        # 往京东主页输入框输入墨菲定律,按回车键
        input_tag = driver.find_element_by_id('key')
        input_tag.send_keys('墨菲定律')
        input_tag.send_keys(Keys.ENTER)

        # 调用获取商品信息函数
        get_good(driver)

    finally:
        driver.close()

二 、BeautifulSoup4

 简单来说,Beautiful Soup是python的一个库,最主要的功能是从网页抓取数据。

官方解释如下:

  Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱,通过解析文档为用户提供需要抓取的数据,因为简单,所以不需要多少代码就可以写出一个完整的应用程序。

  Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库。它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式。所以需要配合解析器一起使用!

  Beautiful Soup会帮你节省数小时甚至数天的工作时间.你可能在寻找 Beautiful Soup3 的文档,Beautiful Soup 3 目前已经停止开发,官网推荐在现在的项目中使用Beautiful Soup 4。

 

1、安装

# 安装BeautifulSoup4
pip3 install beautifulsoup4

# 安装解析器
# 根据官网解释,推荐使用lxml
pip3 install lxml

怎么使用?

1、基本使用

注意: 如何初始文本内有换行,也会算在里面。(坑)
html_doc = """
The Dormouse's story

$37

Once upon a time there were three little sisters; and their names were Elsie, Lacie and Tillie; and they lived at the bottom of a well.

...

""" from bs4 import BeautifulSoup # 第一个参数是解析文本 # 第二个参数是解析器 soup = BeautifulSoup(html_doc, 'lxml') # 具备自动补全html标签功能 print(soup) # 美化html便签 html_doc = soup.prettify() print(html_doc)

2、遍历文档树

from bs4 import BeautifulSoup

# 注意: 如何初始文本内有换行,也会算在里面。(坑)
html_doc = """
The Dormouse's story

$37

Once upon a time there were three little sisters; and their names wereElsieLacie andTillieand they lived at the bottom of a well.

...

""" # 第一个参数是解析文本 # 第二个参数是解析器 soup = BeautifulSoup(html_doc, 'lxml') # 具备自动补全html标签功能 # print(soup) # 美化html便签 html_doc = soup.prettify() # print(html_doc) # soup = BeautifulSoup(html_doc, 'lxml') # 1、直接选择标签(返回的是一个对象) print(soup.a) # 获取第一个a标签 print(soup.p) # 获取第一个p标签 print(type(soup.a)) # # 2、获取标签的名称 print(soup.a.name) # 获取a标签的名字 # 3、获取标签的属性 print(soup.a.attrs) # 获取a标签内所有的属性 # 4、获取标签的内容 print(soup.a.attrs['href']) # 获取a标签内的href属性 # 5、嵌套选择标签 print(soup.p.b) # 获取第一个p标签内的b标签 print(soup.p.b.text) # 打印b标签内的文本 # 6、子节点、子孙节点 # 获取子节点 print(soup.p.children) # 获取第一个p标签所有的子节点,返回的是一个迭代器 print(list(soup.p.children)) # list转成列表 # 获取子孙节点 print(soup.body.descendants) # 获取body标签内所有的子孙节点,返回的是一个生成器 print(list(soup.body.descendants)) # list转成列表 # 获取第一个p标签中所有的内容,返回的是一个列表 print(soup.p.contents) # 7、父节点、祖先节点 # 获取父节点 print(soup.a.parent) # 获取第一个a标签内的父节点 # 获取祖先节点(爸爸,爸爸的爸爸,爸爸的爸爸的爸爸...以此类推) print(list(soup.a.parents)) # 获取第一个a标签的祖先节点,返回的是一个生成器 print('*' * 1000) # 8、兄弟节点 (sibling: 兄弟姐妹) print(soup.a) # 获取下一个兄弟节点 print(soup.a.next_sibling) # 获取下一个的所有兄弟节点,返回的是一个生成器 print(soup.a.next_siblings) print(list(soup.a.next_siblings)) # 获取上一个兄弟节点 print(soup.a.previous_sibling) # 获取上一个的所有兄弟节点,返回的是一个生成器 print(list(soup.a.previous_siblings))

3、搜索文档树

from bs4 import BeautifulSoup
import re

# 注意: 如何初始文本内有换行,也会算在里面。(坑)
html_doc = """
The Dormouse's story

$37

Once upon a time there were three little sisters; and their names wereElsieLacie andTillieand they lived at the bottom of a well.

...

""" # 第一个参数是解析文本 # 第二个参数是解析器 soup = BeautifulSoup(html_doc, 'lxml') ''' 标签查找与属性查找: 标签: - 字符串过滤器 字符串全局匹配 name 属性匹配 attrs 属性查找匹配 text 文本匹配 - 正则过滤器 re模块匹配 - 列表过滤器 列表内的数据匹配 - bool过滤器 True匹配 - 方法过滤器 用于一些要的属性以及不需要的属性查找。 属性: - class_ - id ''' # 1、字符串 # find的默认参数 第一个是name、第二个是attrs、第四个是text # name: 根据标签名匹配节点 print(soup.find('p')) # 获取第一个p标签 print(soup.find_all(name='p')) # 获取所有的p标签 # attrs: 根据属性查找匹配节点 print(soup.find(attrs={'id': 'p'})) # 查找id为p的标签 print(soup.find_all(attrs={'class': 'sister'})) # 查找class为sister的所有标签 # text: 根据文本匹配文档树内的文本 # 推荐配合其他匹配规则使用,否则毫无意义 print(soup.find(text='$37')) # 查找标签内为$37的文本 # name与text配合使用 print(soup.find_all(name='p', text='$37')) # 查找所有文本为$37的p标签 # name与attrs配合使用 print(soup.find(name='a', attrs={'id': 'link2'})) # 查找第一个id为link2的a标签 # attrs与text配合使用 print(soup.find_all(attrs={'id': 'link2'}, text='Lacie')) # 查找所有id为link2,文本为Lacie的标签 # name、attrs、text组合使用 print(soup.find_all(name='a', attrs={'id': 'link3'}, text='Tillie')) # 查找所有id为link3,文本为Tillie的a标签 # 2、正则 print(soup.find(name=re.compile('a'))) # 通过第一个标签名带有a的节点 print(soup.find_all(attrs={'id': re.compile('link')})) # 匹配所有id名带有link的节点 print(soup.find_all(text=re.compile('and'))) # 匹配所有文本带有"and"的节点 # 3、列表 (列表内可以匹配多个) print(soup.find_all(name=['a', re.compile('e')])) # 匹配所有a标签节点与所有标签中带有e的节点 print(soup.find_all(text=['$'])) # 找不到,因为$是精确查找 print(soup.find_all(text=['$37'])) # 查找$37文本,这样查找是没有意义的 print(soup.find_all(text=[re.compile('\$')])) # 正则中$是特殊字符,所以需要转义 # 4、bool print(soup.find_all(name=True)) # 查找所有有标签名的节点 print(soup.find_all(attrs={'id': True})) # 查找所有有id的节点 print(soup.find_all(text=True)) # 查找所有文本 # 5、方法 # 写一个只要有class没有id的a标签的函数 def has_class_not_id(arg): if arg.name == 'a' and arg.has_attr('class') and not arg.has_attr('id'): return arg.name print(soup.find_all(name=has_class_not_id)) # 通过has_class_not_id的函数匹配节点 # 6、标签与属性查找 # 标签 print(soup.find_all(attrs={'class': 'sister'})) # 属性 # 根据class属性查找,因为class是关键字,所以后面需要加下划线 print(soup.find_all(class_='sister')) # 根据id属性查找 print(soup.find_all(id='link2'))

 

转载于:https://www.cnblogs.com/yjg6/p/11126443.html

你可能感兴趣的:(day03 Selenium剩余功能的实现和BeautifulSoup4使用)