爬取淘宝商品链接的图片和视频-第一部分

输入需要爬取商品品类的网址和需要爬取的页数,程序将爬取所有商品的链接

爬取淘宝商品链接的图片和视频-第一部分_第1张图片

输入需要爬取商品品类的网址和需要爬取的页数,程序将爬取所有商品的链接

import time
from DrissionPage import ChromiumPage
import csv
from lxml import etree
import json
import os

# 确保存放数据的data文件夹存在,若不存在就创建
folder_path=r".\data"
if not os.path.exists(folder_path):
    os.makedirs(folder_path)
# 文件路径[保存]【多个商品链接数据】
file = r".\data\自动化天猫1.0.csv"
# 创建文件对象,用于保存数据
csv_file=open(file,mode='w',encoding='utf-8-sig',newline='')
# 字典写入的方法
csv_writer=csv.DictWriter(
    csv_file,
    fieldnames=['发货地','店名','商品','商品链接','页面价格']
)
# 写入表头
csv_writer.writeheader()
# 实例化浏览器对象
chrom=ChromiumPage()

# 监听数据包 https://h5api.m.taobao.com/h5/mtop.relationrecommend.wirelessrecommend.recommend/2.0/?
# 目的第一次登录可能需求手动登录,还有切换页面

你可能感兴趣的:(前端,javascript,开发语言,python)