python更多源码/资料/解答/教程等 点击此处跳转文末名片免费获取
python 3.8
pycharm 专业版
selenium
谷歌浏览器
浏览器驱动
selenium:
人是怎么操作浏览器的 那么代码就怎么写
开启一个浏览器 (谷歌)
输入链接地址 打开网页
提取数据
保存数据
导入模块
'''
遇到问题没人解答?小编创建了一个Python学习交流QQ群:926207505
寻找有志同道合的小伙伴,互帮互助,群里还有不错的视频学习教程和PDF电子书!
'''
import time
from selenium import webdriver
from selenium.webdriver.common.by import By
import csv
写表头
with open('suning.csv', mode='w', newline='', encoding='utf-8') as f:
csv_writer = csv.writer(f)
csv_writer.writerow(['title', 'price', 'comment', 'store', 'href'])
driver = webdriver.Chrome()
driver.get('https://search.suning.com/%E7%94%B5%E8%A7%86/?safp=d488778a.homepagev8.gSearch.5&safc=hotkeyword.0.0&safpn=10001')
for page in range(20):
3.1 让页面往下滚动
# document.querySelector("body > div.ng-footer > div.ng-s-footer").scrollIntoView()
driver.execute_script('document.querySelector("body > div.ng-footer > div.ng-s-footer").scrollIntoView()')
time.sleep(2)
3.2 提取数据
'''
遇到问题没人解答?小编创建了一个Python学习交流QQ群:926207505
寻找有志同道合的小伙伴,互帮互助,群里还有不错的视频学习教程和PDF电子书!
'''
items = driver.find_elements(By.CSS_SELECTOR, '.item-bg')
for item in items:
title = item.find_element(By.CSS_SELECTOR, '.title-selling-point').text
price = item.find_element(By.CSS_SELECTOR, '.price-box').text
comment = item.find_element(By.CSS_SELECTOR, '.evaluate-old.clearfix').text
store = item.find_element(By.CSS_SELECTOR, '.store-stock').text
href = item.find_element(By.CSS_SELECTOR, '.title-selling-point a').get_attribute('href')
print(title, price, comment, store, href)
# 写数据
with open('suning.csv', mode='a', newline='', encoding='utf-8') as f:
csv_writer = csv.writer(f)
csv_writer.writerow([title, price, comment, store, href])
# 点击下一页
driver.execute_script('document.querySelector("#nextPage").click()')
# 阻塞
input()
最后感谢你观看我的文章呐~本次航班到这里就结束啦
希望本篇文章有对你带来帮助 ,有学习到一点知识~
躲起来的星星也在努力发光,你也要努力加油(让我们一起努力叭)。
最后,宣传一下呀~更多源码、资料、素材、解答、交流皆点击下方名片获取呀