Python使用selenium自动爬取苏宁易购商品数据

嗨喽~大家好呀,这里是魔王呐 ❤ ~!

python更多源码/资料/解答/教程等 点击此处跳转文末名片免费获取

环境介绍:

  • python 3.8

  • pycharm 专业版

  • selenium

  • 谷歌浏览器

  • 浏览器驱动

selenium:

人是怎么操作浏览器的 那么代码就怎么写

Python使用selenium自动爬取苏宁易购商品数据_第1张图片

代码思路

  1. 开启一个浏览器 (谷歌)

  2. 输入链接地址 打开网页

  3. 提取数据

  4. 保存数据

代码展示

导入模块

'''
遇到问题没人解答?小编创建了一个Python学习交流QQ群:926207505
寻找有志同道合的小伙伴,互帮互助,群里还有不错的视频学习教程和PDF电子书!
'''
import time
from selenium import webdriver
from selenium.webdriver.common.by import By
import csv

写表头

with open('suning.csv', mode='w', newline='', encoding='utf-8') as f:
    csv_writer = csv.writer(f)
    csv_writer.writerow(['title', 'price', 'comment', 'store', 'href'])
  1. 开启一个浏览器 (谷歌)
driver = webdriver.Chrome()
  1. 输入链接地址 打开网页
driver.get('https://search.suning.com/%E7%94%B5%E8%A7%86/?safp=d488778a.homepagev8.gSearch.5&safc=hotkeyword.0.0&safpn=10001')
for page in range(20):

3.1 让页面往下滚动

    # document.querySelector("body > div.ng-footer > div.ng-s-footer").scrollIntoView()
    driver.execute_script('document.querySelector("body > div.ng-footer > div.ng-s-footer").scrollIntoView()')
    time.sleep(2)

3.2 提取数据

'''
遇到问题没人解答?小编创建了一个Python学习交流QQ群:926207505
寻找有志同道合的小伙伴,互帮互助,群里还有不错的视频学习教程和PDF电子书!
'''
    items = driver.find_elements(By.CSS_SELECTOR, '.item-bg')
    for item in items:
        title = item.find_element(By.CSS_SELECTOR, '.title-selling-point').text
        price = item.find_element(By.CSS_SELECTOR, '.price-box').text
        comment = item.find_element(By.CSS_SELECTOR, '.evaluate-old.clearfix').text
        store = item.find_element(By.CSS_SELECTOR, '.store-stock').text
        href = item.find_element(By.CSS_SELECTOR, '.title-selling-point a').get_attribute('href')
        print(title, price, comment, store, href)
        # 写数据
        with open('suning.csv', mode='a', newline='', encoding='utf-8') as f:
            csv_writer = csv.writer(f)
            csv_writer.writerow([title, price, comment, store, href])
    # 点击下一页
    driver.execute_script('document.querySelector("#nextPage").click()')
# 阻塞
input()

尾语

最后感谢你观看我的文章呐~本次航班到这里就结束啦

希望本篇文章有对你带来帮助 ,有学习到一点知识~

躲起来的星星也在努力发光,你也要努力加油(让我们一起努力叭)。

最后,宣传一下呀~更多源码、资料、素材、解答、交流皆点击下方名片获取呀

你可能感兴趣的:(python爬虫,python,selenium,开发语言,pycharm,学习,爬虫)